Archon: Novo Framework Promete Otimizar a Inferência em Modelos de Linguagem

Tecnologia Inteligência Artificial Pesquisa e Desenvolvimento

Pesquisadores da Stanford University apresentaram o Archon, um novo framework de inferência que visa acelerar a performance de modelos de linguagem de grande porte (LLMs) sem custos adicionais, utilizando uma arquitetura de busca de inferência em tempo (ITAS).

Create a 2D, flat vector-style corporate illustration on a white, textureless background. The artwork should visually represent the Archon framework, as conceived by researchers at Stanford University. The framework is designed for sustained acceleration of inference performance in large language models (LLMs) without additional costs using an Inference Time Adaptive Search (ITAS) architecture. The key components of the Archon should be displayed as a diagram, interacting to improve inference in LLMs. There should also be performance charts included, showing how Archon's performance compares to other models. The background should suggest a technical environment representing an AI research lab.

Imagem gerada utilizando Dall-E 3

O Archon, desenvolvido pelo Scaling Intelligence Lab da Stanford University, é um framework open-source que visa melhorar a velocidade de resposta de grandes modelos de linguagem (LLMs). Utilizando o algoritmo ITAS, o framework promete aumentar a eficiência do modelo sem a necessidade de treinamento adicional, sendo compatível com modelos de diferentes tamanhos.

Os desenvolvedores que utilizarem o Archon poderão aplicar diversas técnicas de inferência em tempo, o que resulta em uma redução significativa de custos na construção e operação de LLMs. O Archon também se diferencia por permitir que modelos realizem tarefas além daquelas para as quais foram inicialmente treinados, elevando sua versatilidade.

O desempenho do Archon foi avaliado em benchmarks, onde superou modelos como GPT-4o e Claude 3.5 Sonnet por 15,1 pontos percentuais. A estrutura do Archon inclui componentes específicos como um gerador de respostas, um avaliador e um testador de unidade, que trabalham em conjunto para otimizar a qualidade das respostas geradas.

Archon utiliza um algoritmo ITAS para otimizar a performance.
Modelo agnóstico e open-source, compatível com diferentes tamanhos de LLM.
Superou modelos conhecidos em testes de benchmark.
Facilita tarefas complexas, mas apresenta limitações para LLMs menores.
Melhora a generalização das tarefas realizadas pelos LLMs.

Embora o Archon tenha mostrado resultados promissores, os pesquisadores notaram que seu desempenho é mais eficiente em modelos com 70 bilhões de parâmetros ou mais. Modelos menores podem não se beneficiar da mesma forma devido a limitações em suas capacidades. As aplicações do Archon são mais adequadas para tarefas que envolvem complexidade, como resolução de equações ou programação, ao invés de consultas simples.

O Archon representa um avanço significativo na busca por eficiência em modelos de linguagem, com o potencial de acelerar o desenvolvimento de LLMs de alto desempenho. A curiosidade em torno de como essa inovação poderá moldar o futuro da IA é crescente. Para se manter atualizado sobre as inovações em inteligência artificial e tecnologia, inscreva-se na nossa newsletter e tenha acesso a conteúdos exclusivos diariamente.