AI for Value AI for Value

MotiveLLM은 언어적 소통 이상으로 Reasoning과 Planning에서 놀라운 가능성을 보여 주고 있다. 즉 대화 상대를 넘어 유저에게 "서비스"를 제공할 수 있도록 "행동"을 할 수 있음을 확인되고 있다. 이제 하나의 LLM Agent가 아닌 여러 LLM Agent가 함께 일하도록 하여 더 어려운 일을 효율적으로 할 수 있도록 할 수는 없을까? 이 논문에서 그 힌트를 얻어 보도록 하자.Paper Title: S-Agens: Self-orgnaizaing Agents in Open-ended EnvironmentsArxiv Address: https://arxiv.org/abs/2402.04578주요 내용 및 평가이 논문은 복수의 LLM Agent들이 사람의 개입없이 효율적으로 협업하기 위한 방..

MotiveLLM으로 할 수 있는 일로 챗봇을 떠올리는 사람이 많지만 LLM으로 할 수 있는 것은 그 이상이다. ChatGPT가 등장하면서 LLM은 언어적 능력뿐 아니라 새로운 지식을 도출하는 추론 능력과 문제를 해결하기 위한 Planning 능력을 가지고 있음도 보여주었던 것이다. 그럼, 이 추론과 Planning 능력을 통해 사람과의 협업도 할 수 있을까? 이 논문을 통해 그 가능성을 확인해 보자.Paper Title: MindAgent: Emergent Gaming InteractionArxiv Address: https://arxiv.org/abs/2309.09971주요 내용 및 평가이 논문은 LLM의 추론 능력과 Planning 능력을 multi-agent 제어에 활용할 수 있을지를 게임 플랫폼..

Motive2022년말 ChatGPT의 등장은 AI 혁신의 새로운 신호탄이 되었다. 그 이후 LLM에 대한 연구와 이를 활용하고자 하는 열기는 더욱 뜨거워졌으며, Game 분야도 예외가 아니었다. LLM은 Game에 어떻게 활용될 수 있을까? Game AI의 대가인 Togelius와 Yannakakis가 함께 작성한 이 논문을 통해 LLM이 Game에 어떻게 활용될 수 있을지 살펴 보기로 하자.Paper Title: Large Language Models and Games: A Survey and RoadmapArxiv Address: https://arxiv.org/abs/2402.18659주요 내용 및 평가내용은 논문 제목 그대로이다. LLM을 게임에 활용하는 다양한 방식, 현황과 한계, 해결해야할 ..

Motive챗봇 기술이 발전하면서 사람들은 그럴싸하게 대화만 하는 챗봇 이상을 원하고 있다. 즉, 대화뿐 아니라 외부 세계와 상호 작용을 하면서 적절한 서비스(예를 들어 호텔 예약)를 수행해 주는 챗봇을 기대하고 있다. 특히 LLM이 로봇 기술과 접목 되면서 대화를 하면서 행동도 하는 로봇을 만들고자 하는 움직임이 활발하다. 챗봇이 대화를 하면서 어떤 행동을 할지를 적절하게 선택하게 하려면 어떻게 해야 할까?Paper title: Large Language Models as Zero-shot Dialogue State Tracker through Function CallingArxiv Address: https://arxiv.org/abs/2402.10466주요 내용 및 평가챗봇이 대화 맥락에 따라 어떤..

Chain-of-Note를 위한 프롬프트 Motive 챗봇은 거짓말쟁이다. 무엇이든 대답해 주지만 그것이 사실이라는 보장은 없다. 이런 특징은 창작의 세계에서는 유용한 특성이지만, 정보를 제공해 주는 역할을 하기에는 꽤 위험한 특성이다. 이를 개선하기 위한 방법으로써 Retrieval Augmented Generation(RAG)가 주목을 받아왔다. 챗봇에게 참고할 수 있는 정보(주로 검색 결과)를 제공해 주고 이를 참고하여 대답을 생성하도록 하는 방식이다. 이 논문은 주어진 정보에 노이즈가 많은 상황에서도 사실에 기반한 더 높은 품질의 대답을 생성하는 방법을 제안하고 있다. Paper Title: Chain-of-Note: Enhancing Robustness in Retrieval-Augmented ..

Preference feedback 보다 "좋아요", "싫어요"가 더 확보하기 좋은 feedback이다. Motive ChatGPT가 세상에 놀라움을 줄 수 있었던 비결 중 하나를 꼽자면 RLHF(Reinforcement Learning with Human Feedback)라고 할 수 있다. 사람이 원하는 대로 반응을 만족스럽게 하지 못했던 언어모델이 RLHF를 거치면서 사람이 원하는 반응을 하는 존재로 거듭나게 되었던 것이다. 그 이후 DPO(Direct Preference Optimization)와 같은 좀 더 단순하면서도 효과적인 feedback-alignment 방법이 제안되기도 하였다. 하지만 이런 방법들은 preference feedback을 필요로 하므로 데이터 수집 비용이 비싸고 상당히 n..

Motive ChatGPT, Gemini, Claude 등 어마어마하게 많은 매개변수를 가진 고성능 언어모델은 우리에게 높은 품질의 대화 경험을 선사해 주지만, 그만큼 운영 비용은 비싸다. 자연스럽게 우리는 좀 더 크기가 작아 운영 비용이 저렴하지만 그에 못지 않은 성능을 가질 수 있는 모델을 원하게 되었고, 그 가능성을 보인 것이 Orca이다. Paper Title: [2023] Orca2: Teaching Small Language Models How to Reason Arxiv Address: https://arxiv.org/abs/2311.11045 주요 내용 및 평가 이 논문은 13B 이하의 작은 모델로 좋은 품질의 챗봇 서비스를 제공하고자 한다면 반드시 참고해야 할 논문이다. 특히 ChatGP..

Motive 말로 명령을 내리면 충실히 그 명령을 수행할 수 있는 로봇을 만들고 싶은 것은 많은 공학도들의 꿈이었다. 이 논문은 그 꿈을 게임환경에서 실현하고자 한 연구자들의 첫 시도이다. 말로 내린 명령을 화면을 보고 수행하는 AI Agent를 만든 이들의 시도를 한번 살펴 보자. 제목: [2024] Scaling Instructable Agents Across Many Simulated Worlds 출처: https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/ 주요 내용 및 평가 이 논문은 다양한 가상 환경(게임 환경)에서 수집한 [자연어 지사문+게임화면+마우스/키보드 조작] 정보를 사용하여 ..