[Paper Tasting] ChatGPT에 수족을 달아서 Power Up!

• 논문 제목: [2023] ReAct: Synergizing Reasoning and Acting in Language Models
• Arxiv주소: https://arxiv.org/abs/2210.03629​
• 주요 내용 및 평가
  • 논문 제목(ReAct)에서 드러난 것처럼 LLM의 Reasoning에 Acting을 결합하여 Reasoning의 성능을 올릴 수 있음을 보여준 논문. 실행(Acting)을 통해 수집된 추가 정보로 LLM Agent가 좀 더 정확한 Reasoning 및 의사 결정을 하도록 했다고 이해하면 된다. 이 논문에서는 외부 환경인 wikipedia로부터 Reasoning에 필요한 추가 정보를 수집하는 것을 Acting으로 하였다.
  • Reasoing, action, observation을 번갈아가면서 Reasoning을 하는 구조를 가진다. 이 구조가 추론 근거를 확보하고 활용한다는 측면에서 유리한 면이 있으나, 추론 과정의 경직성으로 인해 Reasoning Error가 발생하거나 결론을 내지 못하고 이 과정을 무한 반복하는 경우도 관찰되었다고 하니 활용에 유의해야 한다.
  • ChatGPT와 같은 LLM의 능력을 강화하고자 하는 방법 중 하나이다. ChatGPT 단독으로는 성능에 있어서나 할 수 있는 일의 종류 면에 있어서 한계가 있는 만큼 외부 모듈과의 연동은 고품질을 위해서는 필수적이다. 이러한 필요성으로 인해 이미 ChatGPT에서 Plug-in을 제공하고 있다. 직접 외부 모듈과 연동하려고 할 때 이 논문을 참고하여 인사이트를 얻기를 추천한다.
• 기타 참고 사항
  • 이 논문에서 테스트한 예제에서는 wikipedia 검색을 가정하였다. Action은 "Search", "LookUp(Ctrl+F)", "Finish"로 정의하였고 Finish와 동시에 찾아낸 정보를 Reasoning에 활용하도록 하였다.
  • Acting을 통해 추가 정보가 주어지므로 Hallucination 감소 효과를 얻을 수 있다.
  • Reasoning과 Acting의 관계를 역할을 분담한 두개의 Agent의 협업 관계로 생각할 수 있다. 다른 관점으로는 각 Agent가 다른 Agent에 의해 conditioning되었다고도 바라 볼 수 있으며, 경우에 따라 Hierachical architecture로 협업 관계를 설계할 수도 있을 것이다.
  • 당연하겠지만 손과 발이 제대로 작동해야 제안된 방법이 의미가 있다. 예를 들어 wikipedia에서 잘못되거나 쓸데없는 정보를 가져오면 오히려 없는 것보다 못할 수 있다.