LLM으로 할 수 있는 일로 챗봇을 떠올리는 사람이 많지만 LLM으로 할 수 있는 것은 그 이상이다. ChatGPT가 등장하면서 LLM은 언어적 능력뿐 아니라 새로운 지식을 도출하는 추론 능력과 문제를 해결하기 위한 Planning 능력을 가지고 있음도 보여주었던 것이다. 그럼, 이 추론과 Planning 능력을 통해 사람과의 협업도 할 수 있을까? 이 논문을 통해 그 가능성을 확인해 보자.
Paper Title: MindAgent: Emergent Gaming Interaction
이 논문은 LLM의 추론 능력과 Planning 능력을 multi-agent 제어에 활용할 수 있을지를 게임 플랫폼을 통해 검증하고자 한 논문이다. 이 논문의 가장 큰 기술적인 기여는 여러 Agent들의 행동을 하나의 LLM Agent가 동시에 결정함으로써 모든 Agent들을 돌아가면서 Planning을 할 필요가 없도록 하였다는 것이다. 이를 통해 보다 최적의 협업 행동을 계획하도록 할 수 있었을 뿐 아니라 LLM을 좀 더 적게 실행해도 되어 계산 시간도 줄였다는 것이다.
이 논문의 실험에서 의미있게 볼 또 다른 점은 이렇게 실행한 LLM Planning이 통제할 수 없는 사람의 행동이 동반 될 때도 잘 작동한다는 점이다. 더불어 이런 사람과의 협업이 사람에게 즐거움을 줄 수 있다는 정성적인 테스트 결과도 보여주고 있다. LLM을 게임에 활용하여 더욱 재미있는 콘텐츠를 만들 수 있는 힌트를 제공한 것이다.
물론 이들이 보여준 것은 "overcooked!"와 같은 협업 요리 게임 문제에 대해 보여준 것이기에 가능성에 불과하다고 판단할 수도 있지만, LLM의 가치있는 활용 사례를 보여준 것으로도 의미가 있다고 할 수 있다.
LLM을 활용하여 Agent로 Action을 수행하도록 하는 연구를 하고 있거나 LLM을 게임에 활용하는 아이디어를 찾고 있다면 가볍게 읽어볼만한 논문이다.
기타 참고 사항
사람과 협업시 사람의 action은 state difference로부터 inverse dynamics로 추출하여 LLM 입력에 표현해 주었다고 한다.
이들이 실행한 Ablation Expriement 중 주목할 점을 몇가지 정리해 보았다.
행동의 결과에 대한 Feedback 정보가 있는 경우와 없는 경우의 성능 차이가 매우 컸다. Feedback 정보를 실행과정에서 제공해 주지 않으면 같은 실수를 계속 반복하여 문제 해결을 못하였다고 한다. 액션 실행 결과를 Feedback해 주어 계획을 변경하여 실행할 수 있도록 해야 한다.
쉬운 문제에 너무 많은 Agent를 넣으면 협업을 통한 이득보다 자원 쟁탈로 인한 충돌로 인해 오히려 성능이 떨어졌다고 한다.
사람과 협업을 하도록 했을 때 사람이 즐겁게 즐길 수 있는 적정 Agent 수가 있었다고 한다. 적정 수의 Agent가 있으면 협업을 통해 즐거움을 느꼈는데, 너무 많으면 사람이 할 일이 없어 게임에서 소외되는 모습을 보였다고 한다.
Few-shot sample을 prompt로 제공해 주는데, 요리 하나를 완성하는 full demonstration이 아니라 일부만 보여줘도 성능 하락이 크지 않았다고 한다.
사람의 추론 정보를 few-shot sample에 포함하여 제공해 주면 성능이 올랐다고 한다.
