Inteligência artificial
Chatbots com IA que respondem com seus dados
Um chatbot com IA é um assistente que conversa em linguagem natural usando um modelo de linguagem (LLM). Quando é construído com RAG — Retrieval-Augmented Generation —, antes de responder ele busca nos documentos da empresa e redige a partir deles, citando de onde saiu cada dado. Essa diferença é o que separa um chatbot que informa de um que inventa.
Quase todos os chatbots que falham não falham pelo modelo: falham porque ninguém desenhou de onde vem a resposta.
Por que um chatbot sem os seus dados inventa
Um modelo de linguagem não consulta: prevê. Aprendeu padrões de bilhões de textos e, quando você pergunta algo, gera a sequência de palavras que estatisticamente encaixa. Se a resposta certa estava no seu treinamento, acerta. Se não estava, inventa com exatamente a mesma segurança.
O problema não é errar. É que ele não tem como saber que errou, então não avisa — e quem lê também não consegue distinguir.
O que o RAG muda, em concreto
O RAG muda a pergunta. Em vez de «o que é mais provável?», o sistema pergunta «o que dizem estes documentos?». Antes de responder, busca nas suas fontes — manuais, PDFs, sua base de conhecimento, seu catálogo — os trechos que interessam e os entrega ao modelo junto com a pergunta.
O modelo deixa de redigir a partir da memória e passa a redigir a partir do que você colocou na frente dele. Cada resposta pode citar sua fonte para que qualquer pessoa abra e verifique. E quando o dado não existe, um RAG bem-feito diz isso, em vez de preencher o buraco com algo plausível.
Onde o chatbot vive
No canal onde sua gente já está, não em um novo que alguém precise aprender a usar. O WhatsApp é o caso mais comum na América Latina porque é onde a conversa com o cliente já acontece; também Telegram, Slack ou o próprio site.
O canal muda o formato da resposta, não a engenharia: o mesmo sistema de recuperação responde em todos. Por isso convém decidir o canal por onde sua gente está, e não por onde é mais fácil montar uma demonstração.
O que decide se funciona é o chato
RAG não é um botão, é um encanamento, e cada trecho pode quebrá-lo. Se você corta os documentos em pedaços do tamanho errado, o trecho certo nunca chega. Se a busca recupera dez parágrafos parecidos mas nenhum com o dado, o modelo volta a inventar.
E se ninguém mede com que frequência ele responde bem, você não tem um sistema: tem uma demonstração com sorte. Por isso cada projeto leva avaliação contínua desde o começo — um modelo sem medição é uma demonstração, por melhor que fale.
Modelos de fronteira ou modelos abertos
Dá para construir sobre modelos de fronteira (Anthropic, OpenAI) ou sobre modelos abertos ajustados e rodando na sua própria infraestrutura. A decisão não é de moda: depende de quanto pode custar cada consulta e de quão sensíveis são os dados que vão passar por ali.
Se os seus documentos não podem sair da sua rede, essa restrição decide a arquitetura inteira — e convém saber disso antes de construir, não depois.
Perguntas
O que costumam nos perguntar
- O que é RAG e no que difere de um chatbot comum?
- RAG (Retrieval-Augmented Generation) é uma técnica em que o sistema busca informação nos seus documentos antes de responder, e o modelo redige a partir desses trechos. Um chatbot comum responde a partir do que o modelo memorizou no treinamento; um com RAG responde a partir das suas fontes e pode citá-las.
- Um chatbot com IA pode responder com os documentos internos da minha empresa?
- Sim, e é exatamente para isso que serve o RAG. O chatbot não é treinado com os seus documentos: ele os consulta na hora de responder. Isso permite atualizar a informação trocando o documento, sem retreinar nada.
- Dá para conectar ao WhatsApp?
- Sim. O WhatsApp é o canal mais pedido na América Latina porque é onde a conversa com o cliente já acontece. Também funciona no Telegram, no Slack ou integrado ao site.
- Meus dados saem da minha empresa?
- Depende da arquitetura escolhida, e é uma decisão tomada antes de construir. Com modelos de fronteira, as consultas viajam até o provedor. Com modelos abertos rodando na sua própria infraestrutura, não saem da sua rede. Se os seus dados são sensíveis, essa restrição define o desenho inteiro.
- Como sei se o chatbot está respondendo bem?
- Com avaliação contínua. Monta-se um conjunto de perguntas com suas respostas corretas e mede-se contra ele de forma sistemática, para ter um número em vez de uma impressão. Sem essa medição não há como saber se funciona nem detectar quando piora.
Não sabe qual precisa?
Se não tem certeza, é para isso que serve o diagnóstico: olhamos com você e dizemos o que falta — mesmo que seja menos do que você imaginava.