[Paper Tasting] LLM Agent들이 협력하여 일하게 만들기 위한 노하우는?

• 논문 제목: [2023] CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
• Arxiv 주소: https://arxiv.org/abs/2303.17760
• 주요 내용
  • 이 논문은 LLM Agent가 사람이 원하는 일을 제대로 수행하도록 만들기 위해 복수의 LLM Agent를 정의(예를 들어 Python programmer와 사용자)하고 이들이 서로 주거니 받거니 대화하면서 일을 진척시켜 나가도록 하는 방법을 제안하고 있다.
  • 이 논문에서는 LLM Agent에게 일을 시키기 위해 사람과 LLM Agent의 중간에 사람의 요구조건에 살을 붙여서 구체화해 주는 Task specifier를 만들어 사용하고 있다. LLM Agent가 정확히 사람이 원하는 것을 실행하게 만드는데 시간과 노력이 많이 들어가기 때문이다.
  • 이 논문은 LLM Agent로 좀 더 고차원적인 작업을 하도록 하기 위해 필요한 기교와 팁들을 가르쳐주고 있다. 그러나 이것으로 충분하지 않으며, 본인이 목표로한 Application에 활용하기 위해서는 시행착오를 좀 거쳐야 될 것이라 생각한다.
• 기타 참고 사항
  • 두 Agent가 무한히 대화를 반복하지 않게 하기 위해 AI User가 요구조건이 만족되었다고 판단하면 <CAMEL_TASK_DONE>만을 출력하도록 지시하고 있다. 아무래도 Roleplay다 보니까 서로 "고마워", "안녕"을 무한히 주고 받는 현상이 발생하기도 하는 듯하다.
  • 구현에 있어 어느 순간 두 Agent의 역할이 바뀌는 role flipping 현상이 발생할 수 있음을 경고하고 있다. 역할상 User AI가 요구사항을 이야기하고 Programmer AI가 요구사항을 따르기 위한 행동을 해야 하는데, 이를 어기는 대화(예를 들어 Programmer AI가 User AI에게 무언가를 요구하는 상황)가 발생하면 role filpping이 일어난다. 이렇게 역할의 혼동이 일어나면 Agent간 온전한 협업이 진행되지 않는다. 왠지 인간 세계에서 상호간 R&R을 구분해서 일하는 것과 통하는 면이 있어 재미있다.
  • 이외에도 일이 진행되지 않게 하는 모습들에 대해서 제약 조건을 걸어 각 Agent를 통제해야 한다. 이 점은 LLM Agent를 제대로 만들기 위한 경험적 노하우라고 할 수 있다.