Técnica de otimização para LLMs que armazena trechos reutilizados do prompt, reduzindo custo e latência sem reprocessar o contexto inteiro a cada chamada.
Prompt caching (cache de prompt) guarda temporariamente instruções ou textos fixos frequentemente reutilizados em chamadas de API. Em vez de o modelo processar todo o contexto do zero, o sistema reutiliza estados já computados (em geral estruturas chave-valor na infraestrutura do provedor).
O prompt é dividido logicamente. O sistema identifica o prefixo mais longo idêntico em relação a interações anteriores. Para maximizar hits, coloque o conteúdo estático no início e o dinâmico no final:
Instruções de sistema, regras de comportamento, documentação de suporte, base de conhecimento fixa ou histórico acumulado estável. Esta parte é candidata a entrar no cache.
→ PREFIXO CACHEÁVEL
Pergunta atual do usuário, variáveis de tempo, IDs de sessão mutáveis ou qualquer dado que muda a cada requisição. Processado na hora.
→ SUFIXO DINÂMICO
Cache automático quando há prefixo estável suficientemente longo (regra prática: bloco estático com pelo menos ~1024 tokens, sujeito à documentação atual).
Cache explícito via marcação cache_control: ephemeral nos blocos que devem ser cacheados.
Percentuais de desconto, limites mínimos de tokens e TTL mudam com o tempo. Sempre confira a documentação oficial do provedor antes de dimensionar custo em produção.