10 arquiteturas de operação e segurança de IA

• → trecho de terceiro
• → marcado como dado
• → contexto marcado
• → tenta agir
• → autorização
• → destino
• → registra a tentativa

• IA e machine learning
• Conceito de arquitetura
• Segurança e identidade

Injeção indireta não se resolve com filtro melhor: filtro de texto não separa dado de comando. Resolve-se com permissão que não alcança o que a instrução pede — e com registro que revela qual documento a contém.

1. Marcar a origem do conteúdo. Trecho recuperado entra como entrada de usuário, nunca como instrução de sistema. É a distinção que o modelo usa para dar peso diferente.
2. Filtro de texto não é a defesa de fundo. Ele corta a formulação conhecida. Reformulações novas aparecem toda semana — contar com o filtro é contar com a lista de ataques estar completa.
3. A defesa é a permissão. Se o agente não tem ferramenta de envio e não tem destino de rede permitido, a instrução obedecida não produz efeito. É o único controle que não depende de detecção.
4. Lista mínima de ferramentas por caso de uso. Agente de consulta não precisa de ferramenta de escrita nem de envio. Reduzir a lista reduz o que qualquer injeção pode alcançar.
5. Registrar a tentativa é o que revela o acervo comprometido. A tentativa bloqueada aponta qual documento contém a instrução hostil. Sem registro, ela continua lá.

• → pede a requisição
• → URL pedida
• → aprovado
• → só o destino necessário
• → em tempo de execução
• → recusa com motivo

• Compute
• Conceito de arquitetura
• Segurança e identidade
• Rede e entrega

Exfiltração por agente usa permissão legítima, e por isso não aparece como intrusão. Lista de destinos permitidos, saída de rede restrita e nenhum segredo no contexto — as três, porque cada uma cobre uma falha da outra.

1. A exfiltração usa permissão legítima. Não há invasão: o agente tinha a ferramenta e o destino era alcançável. Por isso detecção de intrusão não vê nada.
2. Lista de destinos permitidos, não de bloqueados. Bloquear domínios conhecidos é infinito. Permitir explicitamente o que o caso exige é finito — e é o único que fecha.
3. A restrição também é de rede. Validar o argumento e deixar a função com saída aberta mantém a superfície: basta um caminho de código que não valide.
4. Segredo nunca no contexto. O que está no prompt pode sair na resposta, no registro ou na URL. A função busca o segredo em tempo de execução.
5. Recusar com motivo, e registrar. A recusa encerra o laço e o registro aponta a tentativa — que é o sinal de que há conteúdo hostil no acervo.

• → mensagem pública
• → entrada aprovada
• → resposta a conferir
• → texto aprovado pela política
• → limita o assunto
• → limita a ação
• → tentativa na entrada
• → tentativa na saída

• Fora da AWS
• IA e machine learning
• Conceito de arquitetura
• Gestão e governança

Barreira reduz volume de jailbreak e registra tentativa; ela não elimina risco, porque a lista de formulações nunca está completa. O que limita o dano é escopo estreito e ausência de ferramenta sensível.

1. Filtro nas duas pontas, com registro. Entrada barra o ataque conhecido; saída barra o resultado indevido. O registro é o que transforma tentativa em informação.
2. A defesa de fundo é o escopo. Assistente que só sabe falar do produto tem pouco a revelar. Escopo estreito reduz o dano de qualquer jailbreak bem-sucedido.
3. Sem ferramenta sensível em aplicação pública. O pior caso de um jailbreak em assistente sem ferramenta é uma resposta embaraçosa. Com ferramenta de escrita, é um incidente.
4. A lista de ataques nunca está completa. Contar com o filtro é contar com estar à frente de quem inventa formulação nova. Ele reduz volume; não elimina risco.
5. O registro alimenta o reforço. Tentativas agrupadas mostram o padrão da semana — e é o que orienta o ajuste do escopo e do filtro.

• → as mesmas perguntas
• → respostas de hoje
• → queda de acerto
• → recusa subindo
• → resposta encurtando
• → sem fonte subindo

• Conceito de arquitetura

Degradação de qualidade não gera erro nem reclamação imediata. Conjunto fixo contra a produção mais taxa de recusa, comprimento e ausência de citação são o que dá tempo de agir.

1. O conjunto fixo roda contra a produção real. Não contra um ambiente de teste: contra o sistema que os usuários usam, com o acervo de hoje e o modelo de hoje.
2. Taxa de recusa é o sinal mais sensível. "Não encontrei no acervo" subindo indica ingestão quebrada, corte alterado ou filtro errado — antes de qualquer usuário reclamar.
3. Comprimento de resposta encurtando é sintoma. Respostas mais curtas costumam significar contexto mais pobre. É uma métrica barata que antecipa a queda de utilidade.
4. Resposta sem citação é degradação de recuperação. Ela indica que o modelo respondeu sem base recuperada — exatamente o que a arquitetura tentava impedir.
5. O objetivo é tempo, não perfeição. Detectar no primeiro dia em vez da terceira semana é o ganho. Nenhuma dessas métricas prova qualidade; todas antecipam a queda.

• → sessões concorrentes
• → chamadas por ferramenta
• → fecha quando falha
• → segue atendendo
• → aberto: degrada
• → latência por ferramenta

• IA e machine learning
• Conceito de arquitetura
• Compute
• Gestão e governança

Em agente, a unidade de carga é a sessão e não a requisição — e por isso a resiliência considera o laço. Disjuntor por ferramenta e degradação com resposta parcial impedem a falha de um componente virar indisponibilidade.

1. Agente consome recurso de forma imprevisível. Uma sessão pode fazer três chamadas ou trinta. Dimensionar por requisição, e não por laço, subestima o pico por um fator grande.
2. Disjuntor por ferramenta, não global. A ferramenta lenta precisa ser isolada sem derrubar as outras. Disjuntor único transforma falha parcial em falha total.
3. Repetição multiplica o problema. Sob saturação, tentar de novo aumenta a carga na exata coisa que está saturada. Repetição precisa de espera crescente e de teto.
4. Degradar com resposta parcial. "Não consegui confirmar o estoque, a rota é esta" é útil. Falhar inteiro joga fora o trabalho que já foi pago.
5. Latência por ferramenta é o sinal que antecede. Ela sobe antes da falha. Monitorar só a latência total mistura o laço de três chamadas com o de trinta.

• → compara
• → desvio
• → contém
• → redundante e tardio

• Conceito de arquitetura
• Gestão e governança

Alarme sobre total acumulado avisa depois do estouro; alarme sobre gasto por hora comparado ao padrão avisa no dia. E conter automaticamente a cota do inquilino anômalo limita o dano enquanto alguém investiga.

1. A derivada avisa; o acumulado confirma. Gasto por hora fora do padrão aparece no dia em que começa. O total do mês só pode avisar depois de ser grande.
2. O padrão é por hora do dia e dia da semana. Consumo cai à noite e no fim de semana. Limite fixo alarma toda segunda-feira e ignora o pico de madrugada, que é o suspeito.
3. Conter antes de investigar. Reduzir a cota do inquilino anômalo limita o dano enquanto alguém olha. Investigar primeiro custa o tempo da investigação.
4. O orçamento mensal continua, como rede final. Ele não é inútil: é tardio. Serve como limite absoluto, não como detecção.
5. Anomalia por inquilino, não só global. O inquilino pequeno que dobrou de consumo desaparece no total. É onde o laço costuma começar.

• → por que esta ferramenta
• → o que ela devolveu
• → anota no trecho
• → anota no trecho
• → caso, cliente e canal
• → amostra
• → erros agrupados

• IA e machine learning
• Conceito de arquitetura
• Gestão e governança

Rastro de agente precisa registrar o motivo declarado e o resultado recebido em cada passo, com anotação de negócio. Duração e sequência mostram o sintoma; motivo e resultado permitem reproduzir e corrigir.

1. Registrar o motivo declarado de cada passo. Duração diz onde demorou. O motivo diz por que aquele caminho foi escolhido — que é a pergunta quando a decisão surpreende.
2. O resultado da ferramenta faz parte da decisão. Sem ele, não se sabe se o agente decidiu mal ou decidiu bem sobre dado errado. São defeitos em lugares diferentes.
3. Anotação de negócio é o que permite reproduzir. Caso, cliente e canal transformam "uma sessão às 14h" em um cenário que se executa de novo.
4. Amostrar decisões para revisão humana. Ninguém revisa tudo. Amostra periódica é o que revela o erro sistemático que não gera reclamação.
5. Padrões de erro viram trabalho. Erros agrupados apontam a ferramenta ambígua ou a instrução mal escrita. Individualmente, cada um parece caso isolado.

• → chave da sessão
• → 95%
• → 5%
• → métricas da atual
• → métricas da candidata
• → tem amostra?
• → pior: reverte

• Compute
• Conceito de arquitetura
• IA e machine learning

Canário com fração pequena limita o dano e mede qualidade e custo juntos. A parte que se esquece é a fixação por sessão: alternar variante no meio da conversa produz incoerência que parece bug do modelo.

1. Fixação por sessão é obrigatória. Trocar de variante no meio da conversa muda tom e formato, e o usuário vê incoerência que parece defeito do modelo. A sessão inteira fica numa versão.
2. Fração pequena limita o dano. Cinco por cento significa que a versão pior atinge um vigésimo dos usuários enquanto se mede.
3. Comparar qualidade E custo. Prompt mais longo pode melhorar a resposta e dobrar o custo por chamada. A decisão precisa dos dois números.
4. Volume mínimo antes de concluir. Com poucas amostras, a variação natural parece diferença. Definir o volume antes evita decidir por ruído.
5. Reversão é mover o ponteiro. Com prompt versionado e alias, voltar é imediato. Sem isso, a reversão é uma implantação — e leva horas.

• → chama a versão exata
• → compara
• → linha de base
• → passou
• → promove
• → prazo de expiração

• Conceito de arquitetura
• Compute
• IA e machine learning
• Gestão e governança

Modelo atualizado pelo fornecedor é mudança em produção sem revisão. Fixar a versão exata devolve o controle — e cria a obrigação de avaliar, canariar e acompanhar o fim de vida da versão fixada.

1. Fixar a versão exata, não o apelido. Apelido aponta para o mais recente e muda sem aviso. Identificador exato é o que dá controle sobre quando a mudança entra.
2. A versão nova passa pelo mesmo conjunto. É a única forma de saber se ela é melhor NA SUA tarefa. Nota de lançamento fala de melhoria média em corpus geral.
3. Canário mesmo depois da avaliação. O conjunto não cobre tudo. A fração de tráfego pega o que ele não previu, com dano limitado.
4. Fixar cria uma dívida com prazo. A versão fixada será descontinuada. Acompanhar o aviso de fim de vida é parte da operação — senão o prazo vira urgência.
5. Mudança de formato quebra código, não só qualidade. É o risco mais concreto: o tratamento da resposta assume estrutura. Saída com schema reduz essa exposição.

• → responde com configuração
• → responde com política
• → responde com trilha
• → responde com prazo
• → onde processa
• → quem acessa
• → o que registra
• → quanto retém

• Rede e entrega
• Segurança e identidade
• Gestão e governança
• Conceito de arquitetura

As quatro perguntas que travam projeto de IA — onde processa, quem acessa, o que registra, por quanto tempo retém — não são sobre o modelo. Todas têm resposta de configuração, e antecipá-las encurta a revisão de meses para dias.

1. Onde processa: região imposta, não pretendida. A resposta é a configuração que impede sair da região — inclusive o transbordo automático, que é o detalhe que costuma passar.
2. Quem acessa: por modelo e por dado. "Só a aplicação acessa" não é resposta se qualquer papel da conta pode invocar qualquer modelo. A resposta é a política.
3. O que registra — e o que não registra. A conformidade quer trilha de acesso e decisão, e quer garantia de que dado pessoal não está no registro. As duas coisas ao mesmo tempo.
4. Por quanto tempo retém, com prazo aplicado. Prazo definido e imposto por configuração de ciclo de vida. Prazo combinado sem imposição é prazo que não existe.
5. Antecipar as quatro encurta a revisão de meses para dias. Elas são previsíveis. Desenhar com elas em mente custa dias no começo e evita refazer arquitetura no fim.