Os modelos Transformer, fundamentais para a inteligência artificial de linguagem moderna, utilizam um mecanismo de atenção que processa o contexto na geração de saídas. Este artigo discute como a cache de chave-valor (KV) cresce proporcionalmente ao número de tokens processados, tornando-se um fator crucial para determinar a capacidade de contexto máximo e o número de solicitações simultâneas que podem ser suportadas durante a inferência nos modelos de linguagem.

A nova arquitetura MixAttention sugere uma redução do tamanho do cache KV através da substituição de muitas camadas do modelo por uma atenção de janela deslizante, que utiliza apenas os vetores de chave e valor de um pequeno número de tokens mais recentes. Experimentos demonstraram que essa abordagem mantém a qualidade do modelo tanto em contextos curtos quanto longos, ao mesmo tempo que melhora a velocidade da inferência e reduz o uso de memória. A arquitetura propõe ainda o compartilhamento do cache KV entre camadas.

Os testes de desempenho revelaram que embora o compartilhamento do cache KV entre camadas e a inclusão de janelas deslizantes possam acelerar a inferência, existem limitações se a quantidade de compartilhamento for excessiva. Modelos foram avaliados quanto à sua qualidade em diversas métricas, incluindo compreensão de leitura e raciocínio lógico, para determinar sua eficácia em tarefas de contexto longo.

No geral, os modelos MixAttention se mostraram competitivos em relação a modelos de atenção padrão, conseguindo uma melhor velocidade de inferência e suporte para tamanhos de lote maiores. Constatou-se que configurações específicas, como a inclusão de camadas de atenção padrão em camadas mais profundas, podem ser cruciais para melhorar as habilidades de contexto longo e, portanto, mais pesquisas são recomendadas para explorar essas arquiteturas e seu impacto em tarefas específicas.

Com a arquitetura MixAttention, há uma promessa de avanço significativo na eficiência da inferência em modelos de linguagem, desafiando os paradigmas atuais. A busca por combinações de atenção que otimizem o uso de memória e acelerem processos de inferência poderá revolucionar a forma como os modelos são treinados e aplicados. Para mais informações sobre inovações em IA e modelos de linguagem, inscreva-se em nossa newsletter e acompanhe nossos conteúdos atualizados todos os dias.

FONTES:

1. Character.AI

2. MosaicML

3. ArXiv - Sliding Window Attention

4. ArXiv - RoPE Positional Embeddings

5. Mosaic Evaluation Gauntlet