[Paper Tasting] LLM Agent에게도 훈수쟁이가 필요하다

• 논문 제목: [2023] Unleashing Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration
• Arxiv 주소: https://arxiv.org/abs/2307.05300
• 주요 내용 및 평가
  • 사람이 LLM Agent에게 일을 시키고 그 결과를 바로 보고 받기 보다는 다양한 전문가 또는 평가자(고객 등)의 Persona를 가진 LLM Agent들의 피드백을 받아 개선하는 과정을 거치면 더 양질의 결과를 얻을 수 있다는 것을 보인 논문
  • 피드백을 받는 과정에서 Hallunication이 줄어들거나 부족한 내용이 보충되는 효과를 얻을 수 있다.
  • LLM의 결과를 좀 더 개선해보고 싶거나 그 과정을 지켜 보고 싶다면 관련 노하우를 얻기 위해 참고해볼만한 논문
• 기타 참고 사항
  • 이 논문에서 제안된 것과 같이 Adversarial한 Agent가 서로 피드백을 주고 받으며 강화되어 가는 구조는 유용하고 많이 사용되는 방식이다.
  • 주어진 문제를 해결할 때 도움이 될 Persona의 선정도 LLM을 통해 수행한다. dynamic하고 구체적으로 Persona를 선정하는 것이 고정되고 두루뭉실하게 선정된 Persona보다 더 좋은 결과를 만들어 냈다.
  • LLM으로 복잡한 사고를 한방에 하기 어려우니, 제안된 방식처럼 단계적인 사고를 통해 결론까지 유도하는 방식으로 LLM의 능력을 크게 끌어올릴 수 있다.
  • 이 논문처럼 Multi-turn 방식의 feedback을 통해 성능을 끌어올릴 수는 있지만, 비용이 많이 드는 점은 감안해야 한다.

​