챗봇이 근거를 가지고 말하게 하자.

Chain-of-Note를 위한 프롬프트

 

• Motive
  • 챗봇은 거짓말쟁이다. 무엇이든 대답해 주지만 그것이 사실이라는 보장은 없다. 이런 특징은 창작의 세계에서는 유용한 특성이지만, 정보를 제공해 주는 역할을 하기에는 꽤 위험한 특성이다. 이를 개선하기 위한 방법으로써 Retrieval Augmented Generation(RAG)가 주목을 받아왔다. 챗봇에게 참고할 수 있는 정보(주로 검색 결과)를 제공해 주고 이를 참고하여 대답을 생성하도록 하는 방식이다. 이 논문은 주어진 정보에 노이즈가 많은 상황에서도 사실에 기반한 더 높은 품질의 대답을 생성하는 방법을 제안하고 있다.
• Paper Title: Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models
• Arxiv Address: https://arxiv.org/abs/2311.09210
• 주요 내용 및 평가
  • 핵심 아이디어는 매우 간단하다. 각 참고 정보(검색 결과) 마다 주어진 정보가 질문과 관계 있는지를 서술(reading note 작성)한 후 이를 종합하여 대답을 생성하도록 하는 것이다. 대화 모델의 성능을 높이는 Chain-of-X를 RAG에 적용한 사례이다. ChatGPT를 이용해 reading note와 대답을 생성하는 학습 데이터를 만든 후 이 학습 데이터를 이용해 대화 모델을 fine-tuning을 함으로써 LLAMA-2 7B 모델이 reading note를 생성하고 최종 대답을 생성하도록 만들었다. 결과는 참고 정보가 없이 대답하거나 fine-tuning없이 참고 정보만 주어 대답한 경우보다 대답의 품질이 좋았다. 특히 주어진 정보 중 무관한 정보가 섞여 있거나 관련된 정보가 없을 때도 개선된 성능을 보였다.
  • 검색 결과 중 질문의 정답과 관련된 정보를 들어내거나 random 정보를 준 경우 Unknown이라고 대답해야 한다. 이런 경우 Chain-of-Note(CoN)을 적용하지 않으면 6% 또는 7% 만 Unknown으로 대답 하고, CoN을 적용한 경우는 12% 또는 17%를 모른다고 한다(각각 정답과 관련 정보만 제거한 경우, Random 정보만 준 경우). 확실히 개선 효과는 있지만 여전히 기대 수준에는 한참 못 미친다. 더 눈여겨 볼 것은 Random 정보를 준 경우가 실제 검색 결과에서 정답과 관련된 정보를 들어낸 경우보다는 좀 더 모른다고 한 비율이 높다는 것이다. 아무래도 검색 결과가 포함되어 있는 경우는 질문에 연관을 짓기 더 쉬워 잘못된 대답이 유도될 수 있기 때문인 것 같다.
  • 제안된 방법이 효과는 있었지만 아직 눈높이에는 못 미친 것 같다. RAG는 이제 시작 단계인 연구인만큼 갈길이 아직 멀고, 따라서 후발 주자들이 기여할 공간도 남아 있는 분야인 것 같다.
• 기타 참고 사항
  • 학습 데이터 생성을 위해 작성된 prompt가 너무 단순해서 놀랐다. reading note의 품질을 높이기 위해 좀 더 prompt를 고도화하면 더 좋은 성능을 얻을 수 있지 않을까 싶다.
  • 주어진 정보 중 대답에 필요한 직접적인 정보가 있는 경우뿐 아니라 주어진 정보들을 조합해서 대답해야할 경우에도 성능 개선 효과가 있었다고 한다.
  • reading note와 최종 대답을 동일한 가중치로 Loss optimization을 하면 대답의 품질이 떨어진다고 한다. 따라서 최종 대답에만 Loss optimization을 추가로 해줬다고 한다.
  • 정보를 안주고 대답하도록 한 편이 노이즈 정보를 주고 대답을 한 경우보다 대답의 품질이 더 좋았다고 한다. 노이즈 정보가 잘못된 대답을 유도한 셈이다.
  • 대화 모델의 발전도 필요하지만 이상적으로 검색기의 정확도 향상이 필수적이다.