O prompt caching é uma funcionalidade que permite aos desenvolvedores armazenar contextos frequentemente utilizados, proporcionando a Claude mais conhecimento de fundo e exemplos de saída, enquanto reduz significativamente os custos e a latência. Esta tecnologia é especialmente útil para agentes conversacionais, assistentes de codificação, processamento de documentos grandes e conjuntos detalhados de instruções.

1. Agentes conversacionais: Reduzem custos e latência em conversas longas.

2. Assistentes de codificação: Melhoram a autocompletação e Q&A de código.

3. Processamento de documentos grandes: Incorporam material de forma completa sem aumentar a latência.

4. Conjuntos detalhados de instruções: Permitem incluir dezenas de exemplos de alta qualidade.

5. Busca agentiva e uso de ferramentas: Melhoram o desempenho em cenários com múltiplas chamadas de ferramentas.

Os prompts armazenados são precificados com base no número de tokens de entrada cacheados e na frequência de uso desse conteúdo. Escrever no cache custa 25% a mais que o preço base do token de entrada, enquanto usar o conteúdo cacheado é significativamente mais barato, custando apenas 10% do preço base do token de entrada.

A Notion, uma das primeiras empresas a adotar o prompt caching, está utilizando a tecnologia para otimizar as funcionalidades do Notion AI, melhorando a experiência do usuário com custos reduzidos e maior velocidade.

Com a introdução do prompt caching, a Anthropic oferece uma solução eficaz para desenvolvedores que buscam reduzir custos e melhorar a performance de seus aplicativos. A adoção inicial por empresas como a Notion destaca o potencial da tecnologia para transformar a interação com assistentes de IA e outras aplicações complexas.

FONTES:

1. Anthropic

2. Notion

3. Documentação da Anthropic

4. Página de preços da Anthropic