IA sobre os seus dados

O que está incluído no serviço

Construímos um assistente de IA que responde a perguntas sobre os documentos corporativos, as bases de conhecimento, os regulamentos e os arquivos de conversas da sua empresa. Por «IA sobre os seus dados» entende-se o ciclo completo: coleta e limpeza das fontes, fatiamento dos textos em fragmentos, construção do índice vetorial, conexão do modelo de linguagem e de uma interface web ou de um bot para os funcionários. Escrevemos a parte de software e configuramos a esteira de processamento de dados, em vez de vender uma caixa pronta com conteúdo de terceiros dentro. Se houver equipamento do cliente no circuito — um servidor, uma estação com GPU ou os postos de trabalho dos operadores —, preparamos o software e a configuração para esse hardware, mas o próprio equipamento continua sendo seu e fisicamente trabalha do seu lado. Como resultado, você recebe um sistema que responde com fatos dos seus arquivos, e não com formulações genéricas da internet.

Como o RAG funciona na essência

Na base está o esquema RAG (retrieval-augmented generation) — a geração de uma resposta com apoio nos documentos encontrados. Primeiro todos os seus textos são convertidos em vetores numéricos por um modelo de embeddings e armazenados em uma base vetorial, onde os fragmentos próximos em sentido ficam lado a lado. Quando um funcionário faz uma pergunta, o sistema a converte também em um vetor, encontra alguns dos trechos de texto mais relevantes e os entrega ao modelo de linguagem junto com a própria pergunta. O modelo formula a resposta estritamente com base nos fragmentos entregues, e não no que ele um dia aprendeu sobre dados de terceiros. Essa abordagem fornece links para as fontes e reduz drasticamente a invenção de fatos, porque a resposta fica atrelada a parágrafos concretos dos seus documentos.

De onde veio o RAG

O próprio termo e o esquema RAG foram introduzidos em 2020 no trabalho «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks», de autoria de Patrick Lewis e colegas do Facebook AI Research, da University College London e da Universidade de Nova York. O artigo foi apresentado na conferência NeurIPS 2020 e mostrou que a combinação da busca em uma base com um modelo generativo dá respostas mais precisas e factuais do que o modelo por si só. A ideia se apoia em uma história anterior da busca vetorial: a representação de palavras por vetores numéricos entrou em uso após o lançamento do word2vec em 2013, pela equipe de Tomáš Mikolov no Google. Em 2020 a qualidade dos embeddings e dos modelos de linguagem havia crescido a ponto de tornar prático unir a busca e a geração em uma única esteira. Hoje é justamente esse esquema que está na base da maioria dos assistentes corporativos sobre dados próprios.

Por que a precisão é crítica

Um assistente corporativo é inútil se ele entrega com convicção números errados ou inventa itens de regulamento que não existem. A precisão, aqui, é definida não por mágica do modelo, mas pela configuração de engenharia: como os documentos foram fatiados, qual modelo de embeddings foi escolhido, quantos fragmentos são entregues ao contexto e como o irrelevante é descartado. A privacidade também está atrelada à parte de software: os dados de «IA sobre os seus dados» podem ser mantidos no seu circuito, sem enviá-los a serviços externos, e o acesso pode ser segmentado por papéis. Qualquer erro na esteira não se manifesta de imediato, por isso passamos o sistema por perguntas reais e verificamos as respostas antes da ida ao ar. A qualidade do assistente é o resultado da depuração do software e dos parâmetros, e não de uma instalação avulsa.

Stack e ferramentas

O stack básico é o RAG, as bases vetoriais, os embeddings e os modelos de linguagem (LLM), reunidos em uma única esteira. A base vetorial selecionamos conforme o volume e as exigências de hospedagem: pode ser o Postgres com a extensão pgvector, o FAISS para um índice local ou armazenamentos especializados como Qdrant e Milvus. O modelo de embeddings e a própria LLM escolhemos pelo equilíbrio entre precisão, velocidade e privacidade — de APIs de nuvem a modelos implantados localmente no equipamento do cliente. A estrutura de software escrevemos em Python, com bibliotecas para a orquestração das requisições, o processamento dos documentos e o controle de qualidade das respostas. O stack é selecionado conforme a sua tarefa, e não o contrário: se os dados não podem sair para fora, toda a cadeia permanece no seu circuito.

Quando surgiram as ferramentas-chave

O stack moderno cresceu a partir de algumas datas de referência. As representações vetoriais de palavras tornaram-se massivas após o word2vec, em 2013 (Mikolov e colegas, Google). A biblioteca FAISS, para busca rápida em vetores, saiu pelo Facebook AI Research em março de 2017 e até hoje é usada como índice local. Em dezembro de 2017 surgiu a arquitetura dos transformers no artigo «Attention Is All You Need», de pesquisadores do Google, e em outubro de 2018, com base nela, saiu o modelo BERT, com o qual começou a qualidade prática dos embeddings e dos modelos de linguagem. Sobre esses tijolos, em 2020, montou-se o esquema RAG, que aplicamos no serviço.

Por que isso é com a gente

A experiência somada da nossa equipe de desenvolvimento ultrapassa 45 anos em TI, e encaramos o assistente como um sistema de engenharia, e não como uma demo de uma única apresentação. Não produzimos hardware e não imprimimos caixas — escrevemos a parte de software e configuramos o equipamento do cliente para a tarefa concreta, seja um servidor local ou uma estação com GPU no seu circuito. Antes da ida ao ar, o sistema passa por verificação nas suas perguntas reais: observamos de onde vem cada resposta e consertamos a esteira antes que os funcionários comecem a usá-la. O serviço «IA sobre os seus dados» é construído de forma transparente — você vê as fontes das respostas e controla quais dados vão para onde. Isso significa um resultado previsível e um sistema que pode ser evoluído adiante, e não uma instalação avulsa.