MixAttention: A Nova Arquitetura para Modelos de Linguagem Eficientes

Inteligência Artificial Pesquisa em Machine Learning Modelos de Linguagem

Pesquisadores da Databricks introduziram a arquitetura MixAttention, que combina atenção deslizante e compartilhamento de cache de chave-valor (KV) para otimizar a inferência em modelos de linguagem, mantendo a qualidade em contextos curtos e longos.

Create a 2D linear and vectorial image in a modern and corporate style, representing the MixAttention architecture introduced by Databricks researchers. The image should feature a detailed diagram illustrating the interaction between sliding attention layers and the KV cache inheritance, all against a plain white, non-textured background. Incorporate visual elements that convey data and language processing, such as speed icons to represent inference efficiency, performance charts contrasting MixAttention and standard models, and explanatory text summarizing the architecture's benefits. The color theme should revolve around hues of blue and green to reflect a sense of innovation and technology.

Imagem gerada utilizando Dall-E 3

Os modelos Transformer, fundamentais para a inteligência artificial em linguagem, utilizam um mecanismo de atenção que processa o contexto durante a geração de saídas. A arquitetura MixAttention foi desenvolvida para reduzir o tamanho do cache KV, que cresce proporcionalmente ao número de tokens processados, impactando a velocidade e o custo da inferência. A nova abordagem substitui a maioria das camadas da rede por atenção deslizante, que considera apenas um número limitado de tokens recentes, e compartilha o cache KV entre as camadas.

A arquitetura MixAttention demonstrou manter a qualidade do modelo em contextos curtos e longos.
Experimentos mostraram que o compartilhamento do cache KV entre camadas e a adição de camadas de atenção deslizante aumentam a velocidade da inferência.
No entanto, um aumento excessivo no compartilhamento do cache KV entre camadas deslizantes pode prejudicar as habilidades de contexto longo.

Os modelos MixAttention foram treinados utilizando um procedimento de treinamento em múltiplas etapas, com foco em aumentar a capacidade de contexto longo. Avaliações foram realizadas usando o Mosaic Evaluation Gauntlet e o benchmark RULER, que mediram a qualidade do modelo em várias métricas, incluindo compreensão de leitura e raciocínio lógico.

- O desempenho em tarefas de contexto longo, como rastreamento de variáveis, mostrou resultados mistos. - Os modelos MixAttention apresentaram inferência mais rápida e suporte para tamanhos de lote maiores em comparação com modelos de atenção padrão.

A pesquisa sobre a arquitetura MixAttention sugere que ela é competitiva em habilidades de contexto longo e curto, além de ser mais eficiente em termos de velocidade de inferência. No entanto, a necessidade de mais estudos para otimizar o desempenho em tarefas específicas de contexto longo é evidente, indicando um caminho promissor para futuras investigações.