10 arquiteturas de extração inteligente de documentos

• → objeto criado
• → evento do objeto criado
• → padronizado
• → formulário
• → campo ambíguo
• → campo em prosa
• → perfil de inferência
• → campo resolvido
• → campos de formulário
• → campo interpretado + confiança

• Armazenamento
• Integração de apps
• Compute
• IA e machine learning
• Banco de dados

A ordem é a decisão: extração determinística resolve a maior parte dos campos com confiança numérica, e o modelo fica com o que exige leitura. Invertida, essa ordem multiplica o custo por documento sem melhorar o resultado.

1. O evento substitui a varredura. Nada consulta a pasta procurando arquivo novo. O objeto criado no S3 emite o evento, e o custo passa a ser proporcional ao volume real em vez de ao intervalo de consulta.
2. Extração especializada primeiro. Campo com posição conhecida sai do serviço de extração, com confiança numérica. Modelo grande lendo nota fiscal padronizada custa mais, é mais lento e não entrega esse número.
3. O modelo lê só o que sobrou. Observação em prosa, divergência entre campos, cláusula ambígua. É onde a interpretação é o trabalho — e onde o custo por documento se justifica.
4. Confiança viaja com o dado. Gravar o valor sem a confiança que o produziu impede qualquer decisão posterior de revisão. Quem consome precisa saber se aquele campo saiu de extração com 0,99 ou de interpretação com 0,71.
5. O documento original nunca é sobrescrito. O S3 guarda o que chegou. Toda reextração parte da fonte, e é o que permite reprocessar o acervo quando o modelo melhora sem perder o histórico.

• → conjunto variável de documentos
• → evento de proposta nova
• → primeiro: o que é
• → depois: extrai
• → por fim: confere
• → estado
• → o que ainda falta
• → divergência

• Fora da AWS
• Armazenamento
• IA e machine learning
• Conceito de arquitetura
• Banco de dados

Orquestração por agente se justifica quando o número de passos depende do que chegou — não quando a sequência é conhecida. Se você consegue desenhar o fluxograma inteiro, um fluxo declarado é mais barato, mais testável e mais previsível.

1. O fluxo fixo não cobre entrada variável. Com dez tipos de documento e combinações livres, um fluxo declarado teria de prever todas. O agente decide o próximo passo pelo que acabou de classificar.
2. Um agente por tarefa, não um agente para tudo. Classificar, extrair e validar têm critérios de acerto diferentes. Separados, cada um é avaliável isoladamente — e é isso que permite descobrir qual dos três está errando.
3. O estado mora fora do agente. O que já foi validado e o que falta ficam no banco, não no contexto da conversa. Processo de crédito dura dias e atravessa sessões; contexto não sobrevive a isso.
4. A validação é entre documentos. O nome no holerite tem de bater com o do documento de identidade. Esse tipo de conferência é o que nenhuma extração isolada faz — e é o passo que mais pega fraude simples.
5. O humano entra na divergência. Não em todo processo: no que tem conflito entre fontes ou confiança baixa. É a diferença entre reduzir trabalho humano e apenas mudar o formato dele.

• → imagem do documento
• → campo em prosa
• → proposta de lançamento
• → campos diretos
• → confere se já lançou
• → grava
• → registra

• Conceito de arquitetura
• IA e machine learning
• Compute
• Banco de dados
• Fora da AWS
• Gestão e governança

Em processo com sistema de registro, a integração auditável decide o projeto — não a acurácia da extração. É por isso que provas de conceito de IDP com métrica excelente morrem sem ir a produção.

1. O requisito que trava o projeto não é técnico de IA. É integração e rastreabilidade. Times passam meses melhorando a extração de 94% para 96% enquanto o bloqueio real era não haver caminho auditável até o ERP.
2. O adaptador é a fronteira. Nenhum componente de IA fala com o ERP direto. A camada de integração valida tipo, faixa e obrigatoriedade antes de gravar — o modelo propõe, o código autoriza.
3. Idempotência, porque reprocessamento acontece. Fila reentrega, alguém reenvia o mesmo PDF, o lote roda duas vezes. Sem chave de idempotência, o resultado é lançamento duplicado no sistema financeiro.
4. A trilha guarda a versão do modelo. Meses depois, a pergunta da auditoria é sobre um lançamento específico. Responder exige saber qual versão leu qual documento e o que ela devolveu.
5. O modelo confere, não lança. O papel dele aqui é apontar divergência entre o documento e o pedido de compra. Quem lança é o fluxo, com regra de negócio explícita.

• → prontuário digitalizado
• → em repouso
• → texto clínico
• → entidades
• → campos de layout
• → recurso montado
• → recurso válido
• → rejeitado, para revisão

• Armazenamento
• Segurança e identidade
• IA e machine learning
• Compute
• Conceito de arquitetura
• Banco de dados

Extrair sem normalizar para o padrão do domínio não resolve o problema do consumidor. O destino — FHIR, aqui — é requisito de entrada do projeto, e é ele que define o que a extração precisa produzir.

1. O consumidor define o formato de saída. Quem vai ler é sistema clínico, e ele fala FHIR. O formato de saída se decide no começo do projeto, olhando o consumidor — não no fim, olhando o extrator.
2. Negação é parte do significado clínico. "Sem histórico de diabetes" contém a palavra diabetes. Extração que ignora negação produz prontuário que inverte o quadro do paciente.
3. Validar contra o padrão, não contra o próprio esquema. Recurso que não passa na validação do padrão não entra. É o que impede o acervo clínico de encher de registro tecnicamente presente e clinicamente inutilizável.
4. O layout carrega informação. Em prontuário, coluna e cabeçalho de tabela dizem a que exame o valor pertence. Extrair só o texto corrido perde a associação — e o número fica órfão.
5. Chave própria e destino dedicado. Dado de saúde exige controle de chave e trilha de acesso por registro. Isso entra no desenho na primeira versão: retroencaixar depois costuma exigir reingestão inteira.

• → ingestão
• → pergunta do caso
• → perfil de inferência
• → consulta com filtro
• → só o que está em vigor
• → cláusulas + referência
• → resposta + cláusulas citadas
• → resposta com norma citada

• Armazenamento
• IA e machine learning
• Fora da AWS
• Conceito de arquitetura

Em domínio regulado a resposta útil é a verificável: cláusula citada, vigência conferida e trecho confrontado com a fonte. Sem isso, quem decide não pode usar — e a economia de tempo não se realiza.

1. A citação é o produto, não o enfeite. O perito não precisa da resposta: precisa da norma que a sustenta. Resposta sem referência não é aproveitável no laudo, por correta que esteja.
2. Corte por cláusula, não por tamanho. Cortar a cada 800 caracteres parte a cláusula no meio e recupera metade da regra. A unidade semântica do documento normativo é a cláusula, e é ela que define o corte.
3. Vigência é filtro, não bom senso. Norma revogada continua no acervo — e continua sendo recuperada, porque é textualmente parecida. O metadado de vigência no filtro é o que impede resposta baseada em regra que não vale mais.
4. Conferir que o trecho existe na cláusula apontada. O erro mais convincente é citar a cláusula certa com texto que ela não tem. Comparar o trecho citado com o recuperado pega isso sem revisor humano.
5. O acervo é versionado, porque a pergunta é histórica. Um caso de 2023 se julga pela norma de 2023. Guardar só a versão vigente torna impossível reconstituir a decisão antiga.

• → sinistro aberto
• → no ritmo que a cota aceita
• → texto e campos extraídos
• → campos + confiança
• → abaixo do limiar
• → acima do limiar
• → corrigido
• → quanto foi para revisão

• Integração de apps
• IA e machine learning
• Conceito de arquitetura
• Banco de dados

O limiar de confiança é decisão de negócio por campo, calibrada pela capacidade de revisão e pelo prazo. Limiar agregado é a escolha que revisa o barato e automatiza o caro.

1. O limiar é por campo porque a consequência é por campo. Errar o valor indenizado custa dinheiro; errar a descrição do veículo custa uma correção. Um limiar único ou revisa demais ou arrisca no lugar errado.
2. A revisão humana é parcial. O analista confere três campos, não o sinistro inteiro. É o que faz a revisão caber no prazo — revisar tudo é a decisão que estoura o prazo com a melhor das intenções.
3. A fila protege o limite de taxa. Granizo em capital gera pico de dez vezes o volume normal. Sem nivelamento, o pico não fica lento: ele falha, e a falha chega ao cliente.
4. O prazo é o requisito que fecha o desenho. Ele determina quantos campos podem ir para revisão. O limiar não é escolhido por gosto: é calibrado para a capacidade de revisão caber no prazo.
5. Classificar o tipo antes de extrair. Boletim de ocorrência e nota fiscal têm campos diferentes. Sem classificação, a extração procura campo que não existe e devolve confiança baixa em tudo.

• → texto com a numeração
• → cláusula + cabeçalho
• → mesma cláusula, termo exato
• → vetor da cláusula
• → posição léxica
• → 30 candidatos
• → 5 melhores

• Conceito de arquitetura
• Analytics
• IA e machine learning

Em documento estruturado, o corte é a decisão de maior impacto na qualidade — mais que o modelo de embedding e mais que o modelo de geração. Cortar por cláusula é escolher recuperar unidades que respondem sozinhas.

1. A unidade de corte é a unidade de sentido. Em contrato, é a cláusula. Corte fixo separa "Cláusula 12 — Rescisão" do texto que a define, e a busca recupera um pedaço que não responde nada.
2. O contexto do pai vai no trecho. Uma cláusula que diz "o prazo do item anterior" é ininteligível sozinha. Levar o cabeçalho da seção junto é o que torna o trecho recuperado autossuficiente.
3. Léxico para o termo jurídico exato. Busca vetorial dilui expressão consagrada. Em contrato, quem procura "rescisão antecipada" quer aquela expressão, não algo semanticamente próximo.
4. Reordenar é onde a precisão aparece. A fusão traz trinta candidatos com recall bom e ordem ruim. O reordenador lê pergunta e trecho juntos, e é o passo que mais melhora a resposta final.
5. A resposta aponta cláusula e página. Quem lê vai conferir no contrato. Sem a referência posicional, a resposta obriga a reler o documento — e o ganho de tempo desaparece.

• → arquivo com layout
• → linhas e colunas
• → figura + legenda
• → texto
• → tabela indexada como tabela
• → imagem indexada pela legenda
• → trechos das três modalidades

• Conceito de arquitetura
• IA e machine learning

Layout é informação. Documento técnico convertido em texto corrido perde a tabela e a figura, que costumam ser a parte que responde — e nenhum ajuste de modelo recupera o que a ingestão jogou fora.

1. Tabela achatada em texto perde a relação. "250 300 350" sem cabeçalho não diz a que modelo cada torque pertence. A estrutura da tabela É o dado; extrair como prosa a destrói.
2. A figura entra como figura, com legenda. O diagrama de montagem responde perguntas que o texto não responde. Indexar a legenda e a referência permite recuperá-la; enviá-la ao modelo permite interpretá-la.
3. Recuperação por modalidade. A pergunta sobre torque quer a tabela; a de montagem quer a figura. Recuperar tudo como texto trata as três como iguais e devolve a menos informativa.
4. A página viaja com o trecho. Em manual técnico, apontar a página é o que permite ao técnico conferir no papel que ele tem na bancada.
5. O modelo precisa ser multimodal para isso servir. Extrair a figura e mandar só a legenda é meio caminho. O ganho aparece quando o modelo recebe a imagem e responde sobre o que está desenhado.

• → um evento por documento
• → no ritmo do consumo
• → urgente
• → pode esperar
• → resultado do urgente
• → resultado do que esperou
• → idade da fila

• Armazenamento
• Integração de apps
• Compute
• IA e machine learning
• Conceito de arquitetura
• Banco de dados
• Gestão e governança

Pico não se resolve com mais capacidade: resolve-se desacoplando. A fila converte falha em latência, e a concorrência reservada é o que garante que o consumo respeite a cota do modelo.

1. A fila transforma erro em espera. Sem ela, o pico devolve erro de limite de taxa ao usuário. Com ela, o pico devolve resultado mais tarde — que é degradação aceitável, não falha.
2. A concorrência reservada é o teto real. É o número que impede a função de escalar além do que a cota do modelo aceita. Sem ele, o auto-escalonamento da função ataca o próprio limite de taxa.
3. Separar o urgente do que pode esperar. Nem todo documento tem prazo. Mandar o que espera para lote libera a cota sob demanda para o que tem gente aguardando — e custa metade.
4. A idade da fila é o alarme certo. Tamanho da fila oscila normalmente. Idade da mensagem mais antiga crescendo é o sinal de que a capacidade de consumo não dá conta.
5. Fila de descarte, porque documento ruim existe. PDF corrompido tenta, falha, volta e tenta de novo, para sempre. Sem destino de descarte, uma mensagem envenenada consome a capacidade do pico.

• → grava o traço
• → saída + confiança
• → insumo com soma de verificação
• → aponta o original
• → quem leu e quem alterou
• → expira o que venceu

• IA e machine learning
• Banco de dados
• Armazenamento
• Gestão e governança
• Conceito de arquitetura

Métrica agregada responde "funciona?"; auditoria pergunta "como este número apareceu?". São perguntas diferentes, e só a segunda exige registro por extração, com versão, confiança e insumo original.

1. O registro é por extração, não por lote. A pergunta da auditoria é sobre um caso. Registro agregado por execução não reconstitui um campo específico de um documento específico.
2. A versão do modelo é parte do traço. O fornecedor atualiza o modelo; o comportamento muda. Sem a versão registrada, não há como explicar por que o mesmo documento daria outro resultado hoje.
3. A confiança precisa estar lá. É ela que distingue "extraiu com 0,99" de "interpretou com 0,62". Sem esse número, todo campo parece ter a mesma solidez.
4. O original é imutável e endereçável. O traço aponta para o documento como ele chegou, com soma de verificação. Reconstituir sem o insumo original é opinião.
5. A retenção é decidida antes, não depois. Guardar para sempre é custo e risco; guardar de menos é não ter resposta. O prazo sai da exigência aplicável e entra como política, não como esquecimento.