10 arquiteturas de busca e conhecimento interno (RAG)

• → documentos + permissão
• → páginas + espaço
• → arquivos do acervo
• → sincronização incremental
• → consulta
• → trechos + origem
• → pergunta + trechos
• → amostra de recuperação

• Fora da AWS
• Armazenamento
• Integração de apps
• IA e machine learning

Conector gerenciado é a escolha certa para começar: entrega em dias e preserva a permissão da fonte. A troca é controle sobre corte e embedding — e o momento de retomar esse controle é o que a avaliação aponta, não o gosto.

1. Comece pelo gerenciado, e saiba o que está trocando. O conector entrega em dias o que a ingestão própria entrega em semanas. O preço é não escolher o corte nem o modelo de embedding — e isso só importa quando a avaliação mostrar que importa.
2. A permissão vem da fonte, na ingestão. O conector traz quem pode ver cada documento. Perder isso na ingestão é como material restrito passa a ser respondível para quem não deveria vê-lo.
3. Sincronização incremental, não recarga total. Reindexar tudo toda noite custa proporcional ao acervo, não à mudança. Em acervo corporativo, a mudança diária é uma fração de um por cento.
4. A resposta diz de qual sistema veio. Saber que o procedimento está no Confluence e não no SharePoint muda o que a pessoa faz depois. A origem é parte da resposta útil.
5. A avaliação é o que autoriza sair do padrão. Assumir o controle do corte é trabalho. Ele se justifica quando a medida mostra recuperação ruim em um tipo de documento — não por preferência de arquitetura.

• → chama a ferramenta descoberta
• → mesma ferramenta, outro cliente
• → mesma ferramenta, outro cliente
• → quem pode o quê
• → consulta
• → trechos

• IA e machine learning
• Integração de apps
• Segurança e identidade
• Fora da AWS

Fronteira em protocolo padrão troca N integrações por uma. O ganho não é elegância: é que a mudança de esquema passa a ter um dono e um lugar, em vez de quebrar em três times ao mesmo tempo.

1. Um esquema, não três integrações. A mudança na busca acontece num lugar. Antes, ela acontecia em três códigos de três times — e a que ficava sem atualizar virava resposta errada silenciosa.
2. Descoberta em vez de codificação. O cliente pergunta ao gateway quais ferramentas existem. Ferramenta nova fica disponível sem alterar cliente — que é o que torna a plataforma evolutiva.
3. A autorização é do gateway, por cliente. O bot do Slack não deveria alcançar o mesmo acervo que o agente de suporte. Centralizar a fronteira é o que permite políticas diferentes sem duplicar lógica.
4. Padrão aberto reduz o custo de trocar de arcabouço. O time que quiser mudar de biblioteca de agente troca o cliente, não a integração. É o que evita o acoplamento que congela decisões por anos.
5. O gateway não é cache nem lógica de negócio. Ele expõe e autoriza. Colocar regra de negócio ali recria o acoplamento em outro lugar, agora num componente que todos os times dependem.

• → trechos com id
• → resposta + citações
• → citação confere
• → citação não confere
• → afirmação sem citação
• → reconsulta com outra formulação

• IA e machine learning
• Conceito de arquitetura

Citação não melhora a resposta: torna o erro detectável sem julgamento humano. E é essa detectabilidade — não a fluência — que faz a área de negócio aceitar depender do sistema.

1. Sem fonte, acerto e alucinação são indistinguíveis. Quem lê não tem como separar. Com fonte, a verificação custa um clique — e o erro deixa de se propagar como verdade dentro da empresa.
2. A validação é do código, não do revisor. Comparar o trecho citado com o texto recuperado é operação de string. É o que permite verificar 100% das respostas em vez de uma amostra.
3. Citar documento que não contém o trecho é o erro mais convincente. A referência confere, o documento existe, e o texto não está lá. Só a conferência do trecho pega esse caso.
4. Recusar é resposta válida. "Não encontrei no acervo" é mais útil que uma resposta plausível sem base. E a taxa de recusa é métrica de cobertura do acervo, não de fracasso do modelo.
5. Afirmação sem citação é sinal medido. Se a taxa sobe, algo mudou: acervo, corte ou prompt. É indicador que antecede reclamação de usuário.

• → salto 1: contrato
• → trechos
• → o que falta
• → salto 2: boletim
• → já chegou ao limite?
• → responde
• → contexto completo
• → tokens por volta

• IA e machine learning
• Conceito de arquitetura
• Gestão e governança

Recuperação única não responde pergunta que depende de duas fontes, e o preço da correção é mais voltas — logo mais tokens e mais latência. O teto de saltos é o que impede a correção de virar o problema.

1. A pergunta define quantas fontes precisa. Perguntas de fato único se resolvem em um salto. As de relação entre documentos precisam de dois ou três — e tratar as duas iguais faz a segunda sair incompleta.
2. O agente reformula com o que aprendeu. A segunda busca usa o termo que a primeira revelou. É o que a busca única não consegue: ela não sabe o vocabulário do documento antes de lê-lo.
3. O estado guarda o que falta. Sem registrar a lacuna, o agente busca de novo o que já tem. É a causa mais comum de laço em recuperação agêntica.
4. O teto de saltos é obrigatório. Sem ele, pergunta impossível consome orçamento até o tempo esgotar. Três voltas e responder com o que tem é melhor que insistir.
5. O custo por pergunta muda de ordem. Uma pergunta multi-salto custa o que três perguntas simples custam. Isso precisa ser sabido antes de ligar para todos os usuários.

• → documento + quem pode ver
• → metadado de permissão
• → grupos do usuário
• → grupos
• → consulta + filtro
• → só o permitido
• → contexto filtrado

• Fora da AWS
• Compute
• Analytics
• Segurança e identidade
• IA e machine learning

Índice único é decisão de eficiência; filtro por usuário é o que a torna aceitável. A permissão se captura na ingestão e se aplica na consulta — nas duas pontas, porque uma sozinha não resolve.

1. A permissão é capturada na ingestão. Quem sabe quem pode ver o documento é o sistema de origem. Reconstruir isso depois, por pasta ou por nome de arquivo, erra — e erra para o lado permissivo.
2. O filtro é aplicado na consulta, pelo servidor. Filtrar depois de recuperar já vazou: o trecho entrou no contexto do modelo. E filtrar no cliente é filtro que o cliente pode remover.
3. Prompt não é mecanismo de permissão. "Não responda sobre salários" é instrução, e instrução tem taxa de falha. O que o modelo não recebe, ele não pode revelar.
4. A identidade vem do provedor, não do pedido. Se o grupo do usuário chega no corpo da requisição, qualquer um se declara diretor. A sessão autenticada é a única fonte aceitável.
5. Permissão muda depois da ingestão. Quem sai do time perde acesso na origem, e o índice precisa acompanhar. Sincronizar permissão é tão importante quanto sincronizar conteúdo.

• → vetor da consulta
• → tokens da consulta
• → ranking semântico
• → ranking léxico
• → 30 candidatos
• → 5 melhores

• Conceito de arquitetura
• Fora da AWS
• IA e machine learning

Em acervo técnico, o índice híbrido não é refinamento: é o que faz funcionar a consulta de maior intenção. Vetor e léxico erram em direções opostas, e é isso que torna a fusão eficaz.

1. Token raro é diluído pelo vetor. O embedding representa o trecho inteiro. Um código que aparece uma vez contribui pouco para esse vetor — e desaparece na comparação.
2. O léxico pesa exatamente o que é raro. Termo que aparece pouco no acervo tem peso alto. É o comportamento oposto ao do vetor, e é por isso que os dois se completam.
3. Fundir por posição, não por nota. As duas notas vivem em escalas incomparáveis, e normalizá-las introduz parâmetro arbitrário. Combinar as POSIÇÕES é estável e não precisa de calibração.
4. A consulta específica é a de maior intenção. Quem digita código de erro está com o problema na tela. É a consulta que mais converte e a que a busca puramente vetorial atende pior.
5. Reordenar fecha a conta. A fusão entrega recall; o reordenador entrega precisão nos cinco primeiros — que é o que cabe no contexto.

• → quente e sensível a latência
• → médio, já tem Postgres
• → frio e volumoso
• → evita a busca repetida
• → custo por mil consultas
• → custo por volume guardado

• Conceito de arquitetura
• Analytics
• Banco de dados
• Armazenamento
• Gestão e governança

A escolha do armazenamento vetorial sai de duas medidas: volume de trechos e frequência de consulta. Sem elas, a decisão é feita pela intuição de que "armazenamento é barato" — que é falsa quando o índice vive em memória.

1. O custo do índice não é o custo do disco. A estrutura de busca aproximada precisa estar em memória para responder em milissegundos. É a memória — não o armazenamento — que define a instância e a fatura.
2. Volume e frequência decidem juntos. Acervo grande pouco consultado não justifica memória. Acervo pequeno muito consultado justifica. Olhar só o tamanho leva à escolha errada nas duas pontas.
3. pgvector quando o dado já é relacional. Se a consulta precisa filtrar por cliente, data e status junto com a similaridade, ter tudo no mesmo banco elimina duas viagens e um problema de consistência.
4. Acervo frio aceita latência maior. Arquivo histórico consultado por auditoria uma vez por semana não precisa de índice em memória. Aqui o custo por armazenamento é o que manda.
5. Cache corta a cauda repetida. Um punhado de consultas concentra boa parte do volume. Cachear elas reduz a pressão sobre o índice — e é a otimização mais barata da lista.

• → revisão publicada
• → objeto criado ou alterado
• → só o que mudou
• → substitui os trechos daquele documento
• → quando foi atualizado
• → atraso da ingestão

• Fora da AWS
• Armazenamento
• Integração de apps
• Compute
• IA e machine learning
• Segurança e identidade
• Gestão e governança

Frescor é requisito, e todo desenho tem um. A diferença entre desenho bom e ruim não é ser instantâneo: é o número ser escolhido, medido e dito a quem depende dele.

1. Evento em vez de agenda. A agenda paga pelo acervo inteiro e entrega com atraso de até um ciclo. O evento paga pela mudança e entrega em minutos.
2. Substituir os trechos daquele documento, não acrescentar. Ingestão que só adiciona deixa a versão antiga pesquisável. O resultado é contradição no mesmo acervo — e o modelo escolhendo qual citar.
3. Atraso aceitável é acordo, não sobra. Vinte minutos pode ser aceitável; oito horas quase nunca é. O número é negociado com quem depende, e vira alarme.
4. O selo de frescor é honestidade de interface. Mostrar quando o acervo foi atualizado permite ao usuário calibrar confiança. É mais útil que prometer tempo real e não cumprir.
5. O alarme é sobre o atraso, não sobre o erro. A ingestão pode parar sem lançar exceção — fila travada, permissão revogada. O sintoma é atraso crescendo, e é ele que precisa ser observado.

• → roda as perguntas
• → compara com o trecho marcado
• → contexto
• → compara com a resposta esperada
• → acerto de recuperação
• → acerto de geração

• Conceito de arquitetura
• IA e machine learning

Sem separar recuperação de geração, todo problema de RAG parece ser do modelo — e na maioria dos casos o modelo não tinha o trecho certo. A separação é o que direciona o esforço para onde ele rende.

1. Duas etapas, dois números. Recuperação e geração falham por motivos diferentes e se corrigem com trabalho diferente. Um número só não diz em qual das duas investir.
2. O trecho correto precisa estar anotado. Sem saber qual era a resposta certa e de onde ela vinha, não há como medir recuperação — só opinar sobre a resposta final.
3. Recuperação ruim se conserta na ingestão. Corte, metadado, híbrido, reordenação. É trabalho de pipeline, e nenhum prompt melhor o substitui.
4. Geração ruim com contexto bom é problema de instrução. Aí sim prompt e modelo importam: o contexto tinha a resposta e ela não foi usada. É o caso minoritário, e o único em que trocar de modelo ajuda.
5. O conjunto fica fixo para as versões serem comparáveis. Mudar as perguntas junto com o sistema faz o número subir sem que nada tenha melhorado. Conjunto estável é o que transforma medida em série temporal.

• → reprocessa o acervo
• → hoje
• → mede
• → mede
• → autoriza a virada
• → depois

• Analytics
• Compute
• Rede e entrega
• IA e machine learning

A escolha do embedding é a mais difícil de reverter em RAG, porque trocá-la é reindexar o acervo inteiro. Índice versionado com virada por alias é o que transforma decisão irreversível em decisão testável.

1. Nunca misture dois espaços vetoriais no mesmo índice. Distância entre vetores de modelos diferentes não tem significado. Metade reindexada é um índice que responde errado sem lançar erro.
2. Construir ao lado, invisível. O índice novo se enche em lote enquanto o antigo serve. Nenhum usuário vê a transição, e ela pode levar dias.
3. O alias é o que torna a virada reversível. A aplicação aponta para o alias, nunca para o índice. Voltar atrás é mudar um ponteiro — não reindexar de novo.
4. Medir o mesmo conjunto nos dois. Embedding "melhor" no ranking público pode ser pior no seu acervo. A única medida que decide é a sua, com as suas perguntas.
5. O custo da reindexação entra na decisão. Não é só o cálculo dos vetores: é a janela de dupla infraestrutura. Saber isso antes evita começar a troca e abandonar no meio.