[Paper Tasting] ChatGPT로 상황 변화에 따라 유연하게 대응할 수 있는 Planner를 만들고 싶다면

• 논문 제목: [2023] AdaPlanner: Adaptive Planning from Feedback with Language Models
• Arxiv 주소: https://arxiv.org/abs/2305.16653​
• 주요 내용 및 평가
  • ChatGPT와 같은 LLM으로 Hallucination을 줄이고 상황 변화에 따라 계획을 변경할 수 있는 Planner를 만드는 방법을 제안하고 있다.
  • 이 논문의 핵심 방법은 환경의 변화를 주기적으로 체크하여 초기 Planning시 계획했던 상황과 차이가 발생할 경우 차이가 발생한 시점부터 계획을 다시 수립하고, 상황이 계획된 범위 내에 있으면 좀 더 최적의 action으로 수정하는 방식으로 Planning을 최적화한다.
  • 이 과정을 잘 수행하기 위해 아래와 같은 기교를 소개하고 있다.
    • 프롬프트를 코드 스타일로 표현하여 Hallucination을 크게 줄일 수 있었다.
    • 과거에 성공적으로 수행되었는 Plan 들을 Skill Memory에 저장, 관리하고 Plannning시 이를 Few-shot example로 추가 제공함으로써 Planning 성능을 높일 수 있었다.
  • 제안된 방법이 모든 분야의 Planning에 적용되기는 어려울 수 있다. 다만 Coding style의 프롬프트 사용, 환경 변화에 따른 Adaptive Planning이라는 큰틀의 접근 방식은 참고의 가치가 있다.
• 기타 참고 사항
  • Planning은 subgoal들로 구성되고, 각 Subgoal의 description에는 subgoal의 달성 여부를 판단할 수 있는 assertion statement들이 포함되어 있다.
  • Reasoning을 위해서는 envrionment observation을 parsing하여 information을 추출해야 한다. 내 응용 분야에서 이것이 가능한지 생각해 보아야 한다.