Sistema ChatBot para recomendação de refeições: uma abordagem Retrieval-Augmented Generation

Abstract

Com o lançamento do ChatGPT, aumentou o interesse por assistentes chatbots capazes de interagir com linguagem semelhante à humana. Umas das formas de melhorar o desempenho destes assistentes é através da abordagem Retrieval-Augmented Generation (RAG). Nesta abordagem, um conjunto de documentos é extraído da base de dados e usado como contexto na geração das respostas. Porém, a qualidade do sistema RAG depende diretamente dos large language models (LLMs) que o integram. Plataformas como a Azure disponibilizam LLMs de altíssimo desempenho e que executam uma ampla gama de tarefas de inteligência artificial (IA). A desvantagem de usar estes LLMs, no entanto, é custo no uso da API, que é calculado em função do número de tokens de entrada e de saída. Por outro lado, em comunidades de machine learning (ML), como a Hugging Face, são publicados semanalmente dezenas de novos modelos de LLMs. Estes LLMs são treinados para tarefas específicas em inteligência artificial, podendo, alguns deles, ser reutilizados em tarefas diversas. Com base nisso, este trabalho faz um comparativo entre os LLMs disponíveis na Hugging Face para implementação de um chatbot de recomendação de refeições e restaurantes usando a abordagem RAG. Foram avaliados 8 LLMs de similaridade de sentença e 117 de geração de texto para compor o assistente chatbot. As saídas dos modelos de similaridade de sentença foram validadas por membros do departamento de computação da UFRPE. Já as respostas dos modelos de geração de texto foram avaliadas tanto por alunos da UFRPE, como pelo GPT-4. O ptbr-similarity-e5-small do repositório João Brito foi o modelo de similaridade de sentença com o maior número de saídas validadas, com 60% de validações. Por sua vez, o modelo de geração de texto Mistral-Nemo-Instruct-2407-Q5_0.gguf do repositório Second State obteve o score médio de 72,65, nas respostas avaliadas pelo GPT-4, assim como 4 vitórias em 4 disputas com outros modelos, julgadas por alunos da UFRPE.