Por que a IA piora no meio da conversa (e o que fazer a respeito)
Resumo
Em conversas longas, muitos modelos de IA passam a responder pior: esquecem uma regra dada no começo, repetem erros já corrigidos, misturam assuntos. Há pesquisa publicada apontando nessa direção. A solução prática não é "falar melhor com a IA", e sim gerenciar o que fica na conversa: resumir, registrar o que importa fora dela, abrir uma sessão nova e verificar o que for crítico.
Este guia separa o que as fontes relatam (fato atribuído), o que é explicação provável mas não comprovada (hipótese) e o que eu recomendo fazer (recomendação). Os rótulos aparecem no texto. Os detalhes das fontes são descritos em linhas gerais e devem ser conferidos contra os originais antes da aprovação (seção 8).
1. O que é a janela de contexto
Conhecimento geral, não atribuído às fontes deste guia: um modelo de linguagem não "lembra" de você entre uma resposta e outra como uma pessoa lembra. A cada resposta, ele recebe como entrada o texto da conversa até ali (suas mensagens, as respostas dele, arquivos colados, resultados de ferramentas) e produz a continuação. O conjunto de tudo o que ele recebe nessa chamada é o contexto. A janela de contexto é o limite de tamanho desse conjunto, medido em tokens (pedaços de texto, em geral menores que uma palavra).
Consequência prática: quanto mais longa a conversa, maior a entrada de cada nova resposta. A conversa de 3 horas não é "uma memória que cresce"; é um texto cada vez maior que o modelo precisa reler inteiro a cada turno.
Fato atribuído (Anthropic, em linhas gerais): o texto da Anthropic trata o contexto como um recurso finito, com retorno decrescente, e fala em uma espécie de "orçamento de atenção". A ideia útil para nós: mais texto não significa mais precisão.
2. Por que a qualidade cai: o que se sabe
2.1 Posição importa: o meio é o ponto fraco
Fato atribuído (Liu et al., "Lost in the Middle", arXiv:2307.03172): segundo o artigo, em tarefas como perguntas e respostas sobre vários documentos, o desempenho tende a ser melhor quando a informação relevante está no início ou no fim da entrada, e pior quando está no meio.
Tradução para o uso diário: uma regra que você deu na quinta mensagem de uma conversa de cem mensagens fica, na prática, no meio. É o pior lugar.
Limite: o estudo é de 2023, com os modelos da época. Não sei dizer quanto o efeito se mantém em cada modelo atual.
2.2 Entrada maior pode deixar o desempenho menos confiável, mesmo em tarefa simples
Fato atribuído (relatório "Context Rot", da Chroma): o relatório aponta, em linhas gerais, que o desempenho de modelos de linguagem pode ficar menos confiável com entradas maiores, mesmo em tarefas simples e controladas. Também discute o efeito de trechos parecidos com a resposta certa, mas que não respondem (distratores), e a forma como a informação é apresentada. Não cito número de modelos, nomes de modelos, autores nem percentuais.
Observação: a Chroma é uma empresa que desenvolve banco de vetores, e o relatório é uma publicação da própria empresa, não um artigo com revisão por pares. Por isso trato como indício de direção, não como medida definitiva.
2.3 O que provavelmente acontece em conversa real (hipóteses)
As causas abaixo são hipóteses de trabalho. Concordam com a direção geral das fontes, mas não foram testadas por mim nem estão medidas nelas.
- Hipótese: instrução antiga e instrução nova se contradizem. Você pediu "texto formal" na mensagem 3 e "mais solto" na 40. O modelo precisa decidir qual vale, e nem sempre decide como você espera.
- Hipótese: erros e tentativas descartadas ficam no texto. Se a IA errou três vezes e você corrigiu, os três erros continuam lá e podem funcionar como trechos parecidos com a resposta certa (relação com a ideia de 2.2).
- Hipótese: assuntos misturados. Uma conversa que começou em planilha, passou por e-mail e acabou em contrato carrega material que não ajuda em nada a próxima tarefa.
- Observação de uso (não é dado de estudo): quando a ferramenta resume ou corta o começo da conversa por conta própria para caber no limite, detalhes combinados ali podem sumir sem aviso. O comportamento exato varia por produto e versão e não foi verificado por mim.
3. Sinais de alerta
Observação de uso, não critério científico. Desconfie quando:
1. A IA repete um erro que você já corrigiu. 2. Ela ignora uma regra dada antes (formato, tom, o que não fazer). 3. Ela mistura dados de dois itens diferentes (dois clientes, duas versões de um texto). 4. As respostas ficam genéricas, mais longas e menos específicas. 5. Ela cita um detalhe do começo da conversa de forma levemente errada. 6. Você precisou repetir a mesma instrução duas vezes.
O teste da sessão nova
Recomendação. Quando vir um sinal, faça este teste de 5 minutos:
1. Abra uma conversa nova. 2. Cole só o necessário: o objetivo, as regras e o material da tarefa atual (não a conversa inteira). 3. Faça a mesma pergunta que deu errado.
Se a resposta melhorar, o problema provavelmente era o acúmulo de contexto, não a sua pergunta e não "a IA ter ficado burra". Se não melhorar, o problema está na instrução ou no material, e uma sessão nova não resolve.
4. Soluções, passo a passo
Recomendações. Ordenadas da mais simples para a mais elaborada. Meu conselho: faça a coisa mais simples que funcione. Comece pelo passo 1 e só avance se precisar.
Passo 1: abrir sessão nova por tarefa
Um assunto, uma conversa. Terminou a tarefa, encerre. Não reaproveite a conversa de ontem para um assunto diferente só porque "ela já conhece o contexto".
Passo 2: resumir a passagem e levar só o resumo
Quando a tarefa precisa continuar, peça à IA um resumo de passagem e abra a sessão nova com ele. É uma técnica parecida com a que a literatura de engenharia de contexto chama de compactação: resumir a conversa e recomeçar com o resumo. Não detalho aqui o que cada ferramenta preserva.
Recomendação minha: confira primeiro se o resumo não perdeu nada importante (decisões, regras, pendências) e só depois enxugue o excesso.
Modelo de prompt: resumo de passagem (copie e adapte)
Vou continuar este trabalho em uma conversa nova. Escreva um resumo de passagem
com estas seções, em no máximo 400 palavras:
1. Objetivo: o que estamos tentando entregar e para quem.
2. Decisões tomadas: cada decisão, com o motivo em uma frase.
3. Regras e preferências que devo manter (formato, tom, o que evitar).
4. Estado atual: o que já está pronto e o que falta.
5. Pendências e dúvidas em aberto.
6. Fatos e números que usamos, com a origem de cada um. Se algum não tiver
origem, marque como "sem origem".
Não inclua tentativas descartadas nem erros já corrigidos, exceto se a lição
deles for uma regra para o futuro. Não invente nada: se algo não estiver
claro na conversa, escreva "não definido".
Depois leia o resumo antes de usar. Ele é gerado pelo mesmo modelo que estava confuso; erros de resumo se propagam para a sessão nova.
Passo 3: abrir a sessão com as regras, no começo e curtas
Pelo achado de posição (2.1), o início e o fim da entrada são os lugares mais seguros. Coloque as regras no início da sessão nova e, se a tarefa for longa, repita a mais importante no fim do pedido.
Modelo de prompt: abertura de sessão (copie e adapte)
Contexto: [1 a 3 frases sobre a tarefa e o público].
Regras para esta sessão:
- [regra 1: formato da resposta]
- [regra 2: tom]
- [regra 3: o que não fazer]
- Se faltar informação, pergunte antes de supor.
- Não invente números, fontes nem citações. Quando não souber, diga que não sabe.
Material: [cole só o que é necessário para esta tarefa].
Tarefa: [o pedido, objetivo e verificável].
Lembrete final: [repita aqui a regra mais importante].
Passo 4: guardar o que importa fora da conversa
Uma prática comum em engenharia de contexto é manter anotações fora da conversa, uma memória externa: você (ou o agente) escreve decisões e estado em um arquivo e recarrega quando precisa. Para uso pessoal isso pode ser simplesmente um documento com: objetivo, decisões, regras e pendências. Cole esse documento no início de cada sessão. Você deixa de depender da memória da conversa.
Passo 5: dividir trabalho grande entre sessões com contexto limpo
Outra ideia comum é dividir o trabalho entre sessões (ou sub-agentes), cada uma com contexto limpo, devolvendo só um resumo condensado. Para quem usa chat comum, o equivalente manual é: uma sessão para pesquisar, uma para redigir, uma para revisar, passando adiante só o resumo de cada etapa.
Passo 6: não colar tudo; carregar sob demanda
A ideia é guardar referências leves (nome de arquivo, link, título) e carregar o conteúdo só quando for preciso, em vez de despejar tudo de uma vez. Em uso comum: em vez de colar o contrato de 40 páginas, cole as 2 cláusulas que importam para a pergunta de hoje e diga onde elas ficam no documento. Lembre da ideia do relatório da Chroma: o que importa é também como a informação é apresentada. Material curto, relevante e bem separado tende a ajudar mais que material completo e solto.
Passo 7: limpar o que é velho
No chat comum, isso significa não reenviar a mesma tabela ou o mesmo trecho a cada pergunta, e não deixar rascunhos antigos na conversa se você já tem a versão final.
Passo 8: verificar o que é crítico, com fonte
Nada acima torna a IA infalível. Para qualquer dado que possa causar dano se estiver errado (valor, data, nome, prazo, afirmação jurídica ou médica), peça a fonte e confira você mesmo.
Modelo de prompt: verificação com fonte (copie e adapte)
Releia sua resposta acima. Liste cada afirmação factual (número, data, nome,
regra) em uma tabela com três colunas: afirmação, onde está a fonte
(trecho do material que eu colei, ou link), e seu grau de certeza
(confirmado no material / inferido / não sei).
Regras: use apenas o material que está nesta conversa. Se uma afirmação
não tiver fonte, marque "sem fonte" em vez de justificar. Não crie links.
Limite importante: a própria IA pode inventar uma fonte com aparência convincente. A tabela serve para você saber o que conferir, não substitui a conferência. Abra o link, leia o trecho.
5. Exemplos por ferramenta
Qualitativo. Estes exemplos descrevem ideias de forma geral, não foram testados e os produtos mudam de versão com frequência. Confira na ferramenta que você usa.
- Ferramentas com arquivo de instruções fixas: algumas ferramentas permitem guardar regras do projeto ou instruções fixas, que voltam ao começo de cada sessão. É a aplicação do passo 4: as regras ficam fora da conversa. Confira na documentação da ferramenta que você usa e mantenha esse material curto, atualizando quando uma decisão mudar.
- Ferramentas com memória ou projetos: algumas ferramentas de chat oferecem memória ou projetos com instruções fixas, e a disponibilidade varia por plano e versão. A ideia é a mesma do passo 4. Teste com o teste da sessão nova (seção 3): abra sessão nova, cole as regras e compare.
- Ferramentas com janelas grandes: algumas ferramentas oferecem janelas de contexto grandes. Janela grande não garante resposta melhor: as fontes citadas apontam, em linhas gerais, queda de confiabilidade com entradas maiores, e não afirmo aqui o que vale para cada modelo específico. A conclusão para o dia a dia é igual: sessão por tarefa, regras no início, resumo de passagem.
Se você não souber se a ferramenta tem memória ou como ela corta conversas longas, o teste da sessão nova (seção 3) funciona em qualquer uma.
6. Mini-casos antes e depois
Casos ilustrativos, montados por mim para mostrar o método. Não são medições nem relatos de clientes.
Caso A: texto de proposta comercial
Antes: uma conversa de dois dias em que você pediu a proposta, mudou o tom três vezes, trocou o nome do cliente e colou duas versões do preço. A resposta atual mistura o preço antigo com o nome novo.
Depois: 1. Pede o resumo de passagem (modelo do passo 2), pedindo marcar "não definido" onde houver dúvida. 2. Lê o resumo e corrige o preço e o nome. 3. Abre sessão nova com o prompt de abertura (passo 3) e o resumo corrigido. 4. Roda o prompt de verificação (passo 8) sobre nome, valor e prazo.
O que se espera, como hipótese: menos mistura entre versões, porque as versões antigas deixaram de estar no texto.
Caso B: análise de planilha com várias perguntas
Antes: 30 perguntas na mesma conversa, a planilha colada duas vezes, três correções de fórmula. A IA volta a usar uma fórmula que você já descartou.
Depois: uma sessão por pergunta grande; a planilha entra só com as colunas necessárias; a regra "não usar a fórmula X; usar Y" fica no começo e repetida no fim do pedido. As conclusões numéricas são conferidas na própria planilha.
Caso C: pesquisa seguida de redação
Antes: a mesma conversa pesquisa, resume fontes e escreve o texto final. No final, uma citação do começo aparece levemente alterada.
Depois: sessão 1 pesquisa e devolve uma lista de fatos com o link de cada um. Você confere os links. Sessão 2 recebe só a lista conferida e redige. Sessão 3 revisa o texto contra a lista. É a divisão do passo 5, feita à mão.
7. Checklist final
Antes de continuar uma conversa longa, confira:
- [ ] É o mesmo assunto e a mesma tarefa de quando a conversa começou?
- [ ] Houve repetição de erro, regra ignorada ou mistura de itens?
- [ ] Fiz o teste da sessão nova?
- [ ] Pedi um resumo de passagem e li o resumo antes de usar?
- [ ] As regras estão no início da sessão e a principal repetida no fim?
- [ ] Colei só o material necessário, em vez de tudo?
- [ ] Os dados críticos têm fonte que eu abri e conferi?
- [ ] Decisões importantes estão salvas fora da conversa?
- [ ] Nenhum dado pessoal, financeiro ou de terceiros foi colado sem necessidade?
8. O que este guia não verificou
- Não medi nada por conta própria. Os fatos atribuídos a estudos e textos vêm das três fontes abaixo, descritos em linhas gerais; a explicação da seção 1 sobre como o modelo recebe o contexto a cada resposta é conhecimento geral, sem fonte própria aqui.
- As descrições dos resultados (posição da informação, perda de confiabilidade com entradas maiores, distratores, forma de apresentação, orçamento de atenção) não foram conferidas linha a linha contra as páginas originais. Por isso evitei números, datas, listas de modelos e autores. As práticas dos passos 2, 4, 5, 6 e 7 (compactação, anotações externas, divisão em sessões, carregamento sob demanda, limpeza) são apresentadas como práticas comuns de engenharia de contexto, não como citações da fonte.
- O efeito do meio (Liu et al.) foi medido em modelos de 2023. Não verifiquei quanto vale para cada modelo atual.
- O relatório da Chroma é publicação de uma empresa de banco de vetores, sem revisão por pares até onde sei, e não reproduzo seus percentuais.
- Recursos de ferramentas de IA (memória, projetos, arquivos de instruções, cortes automáticos, limites de janela) não foram testados e mudam por versão e plano.
- Os mini-casos são ilustrações. As hipóteses da seção 2.3 não têm fonte própria.
- Os prompts são modelos; não os testei em todos os modelos. Ajuste e teste com um caso real, de baixo risco.
9. Fontes
1. Liu, N. F. et al. "Lost in the Middle: How Language Models Use Long Contexts". arXiv:2307.03172. https://arxiv.org/abs/2307.03172 2. Chroma. "Context Rot" (relatório de pesquisa). https://trychroma.com/research/context-rot 3. Anthropic. "Effective context engineering for AI agents". https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
Conclusão
A queda de qualidade no meio da conversa tem respaldo em pesquisa: segundo as fontes, a posição da informação importa e entradas maiores podem deixar o desempenho menos confiável. Como causa de cada caso concreto você só tem hipótese, mas o remédio é barato e testável: uma tarefa por sessão, regras curtas no começo, resumo de passagem, memória fora da conversa e conferência do que é crítico. Faça o teste da sessão nova antes de culpar a pergunta.
Este guia foi preparado por operação editorial assistida por IA e depende de revisão e aprovação humana antes de qualquer publicação.
Fontes para conferência
Este guia é educativo. Confirme informações relevantes antes de tomar decisões.
