IMPLEMENTAÇÃO SEGURA DA TÉCNICA RETRIEVAL AUGMENTED GENERATION (RAG) EM MODELOS DE LINGUAGEM PARA PROCESSAMENTO DE INFORMAÇÕES PRIVADAS

Uma Abordagem com RAG para Acesso Seguro e Preciso a Dados de Legislações de Proteção Cibernética

Resumo

Este trabalho propõe a implementação de uma solução que utiliza a técnica de Retrieval Augmented Generation (RAG) em Large Language Models (LLMs) privados, com base na plataforma Open Web UI e integrando-se ao Ollama como motor de LLM. Para este projeto, o escopo foi delimitado em legislações de Proteção Cibernética com o objetivo de fornecer respostas precisas e concisas a consultas específicas, integrando dados extraídos de documentos relevantes, sejam públicos, como leis e normas, ou privados, como políticas de segurança e planos de gestão de riscos. As principais ferramentas usadas incluem o Open Web UI para a orquestração de fluxos de recuperação e geração de texto, Ollama para prover o LLM privado de modo seguro e eficiente, Built-in Embeddings para a criação de representações vetoriais do conteúdo, e ChromaDB para o armazenamento e recuperação eficiente desses vetores. A técnica RAG permitirá que o modelo de linguagem recupere informações específicas dos documentos carregados, melhorando a precisão e o contexto das respostas. A fonte de dados utilizada para o processo de RAG é ajustável, permitindo a adaptação para diferentes realidades e contextos, o que torna a solução flexível e aplicável a diversos cenários. O projeto visa fornecer uma solução prática para a implementação da técnica RAG com uso de LLMs privados.