GenAI — Transformers, FMs, prompting, hallucinations

A arquitetura transformer foi publicada em 2017 e resolveu um gargalo específico: os modelos anteriores (RNN, LSTM) processavam texto sequencialmente — palavra por palavra, sem poder paralelizar. O transformer processa a sequência inteira de uma vez, e é isso que permitiu treinar em escala de trilhões de tokens.

O mecanismo que viabiliza isso é a autoatenção (self-attention): para cada token, o modelo calcula quanto cada outro token da sequência importa para interpretá-lo. Na frase "o banco negou o crédito", a atenção liga "banco" a "crédito" e resolve a ambiguidade com "banco de praça" sem nenhuma regra escrita.

O modelo não vê letras nem palavras — vê tokens, que são pedaços de palavra. "inteligência" pode virar 3 ou 4 tokens; "casa" provavelmente 1. A tokenização é decidida no treino do modelo e você não a controla.

A janela de contexto é o total de tokens que o modelo consegue considerar de uma vez, e ela é compartilhada entre entrada e saída. Estourar a janela não degrada elegantemente: a requisição falha, ou o histórico mais antigo é descartado, dependendo de como sua aplicação trata o limite.

Um embedding é um vetor de números que representa o significado de um texto. Textos com sentido parecido ficam próximos nesse espaço, mesmo sem compartilhar palavra nenhuma — "meu pedido não chegou" e "encomenda extraviada" ficam vizinhos.

Para tarefa que exige consistência — extração, classificação, resposta factual — baixe a temperatura. Para redação e brainstorm, suba. E não mexa em temperature e top-p ao mesmo tempo: os dois atuam sobre a mesma distribuição, e ajustar ambos torna o efeito difícil de raciocinar.

import boto3

brt = boto3.client("bedrock-runtime")

r = brt.converse(
    modelId="us.amazon.nova-pro-v1:0",
    system=[{"text": "Responda apenas com o nome da categoria."}],
    messages=[{"role": "user", "content": [{"text": pergunta}]}],
    inferenceConfig={
        # `temperature` controla ALEATORIEDADE, não criatividade nem qualidade —
        # 0 para classificação e extração, onde você quer a mesma resposta sempre.
        "temperature": 0.0,
        # `topP` corta a cauda da distribuição. Ajustar os dois ao mesmo tempo
        # torna o efeito difícil de prever; escolha um e fixe o outro.
        "topP": 0.9,
        # Teto de SAÍDA. Não limita a entrada, e não impede alucinação — só corta.
        "maxTokens": 64,
        "stopSequences": ["\n\n"],
    },
)

# `usage` é o que transforma custo em número mensurável, e é a primeira coisa a
# instrumentar: a fatura do Bedrock é a soma disto sobre todas as chamadas.
u = r["usage"]
print(u["inputTokens"], u["outputTokens"], u["totalTokens"])

Alucinação é o modelo produzir conteúdo plausível e falso, com a mesma confiança do conteúdo correto. A causa é estrutural: um modelo decoder-only prevê o token mais provável, não consulta uma fonte. Ele não tem representação interna de "eu não sei" — tem uma distribuição de probabilidade que sempre produz algo.

Esta é a tabela mais importante do exame inteiro. Toda questão de "como fazer o modelo atender esse requisito" se resolve escolhendo uma destas quatro — e a ordem de preferência é de cima para baixo, por custo e reversibilidade.

Modelo multimodal aceita mais de um tipo de entrada — tipicamente texto e imagem, e em alguns casos documento e vídeo. Isso muda o desenho da solução: em vez de rodar OCR e depois mandar o texto ao modelo, você manda a página e pede a interpretação, preservando layout, tabela e assinatura.

E modelo maior não é resposta padrão. Mais parâmetros custa mais por token e responde mais devagar. A prática de produção é rotear: modelo pequeno e barato para classificar e extrair, modelo grande só onde o raciocínio exige. É o padrão de cascata, no módulo de FinOps da trilha de Bedrock.