A principal novidade é o LLM Explorer Rank, um sistema inteligente de pontuação que avalia os modelos de linguagem considerando fatores como popularidade, novidade e opinião de especialistas. Esse novo ranking busca resolver problemas encontrados em métodos anteriores, como a supervalorização de modelos populares e a exclusão de modelos quantizados.

1. Popularidade do modelo

2. Novidade do modelo

3. Opinião de especialistas

Além do novo sistema de ranking, foi introduzida uma funcionalidade que permite aos usuários selecionar modelos de linguagem com base nos requisitos de VRAM, facilitando a escolha de modelos compatíveis com o hardware disponível. As referências de benchmark também foram atualizadas, utilizando o Claude 3.5 Sonnet como referência principal, seguido pelo GPT-4 Turbo e GPT-4.

- Modelos populares nem sempre são os melhores performers - Alguns benchmarks analisavam poucos modelos - Avaliações focavam em poucas habilidades - Modelos quantizados eram frequentemente ignorados

Essas mudanças visam melhorar a experiência dos usuários com o LLM Explorer, oferecendo uma visão mais clara e justa do desempenho dos modelos de linguagem. A equipe do LLM Explorer está aberta a feedbacks sobre as novas funcionalidades.

A atualização do LLM Explorer com o novo sistema de ranking e funcionalidades adicionais promete transformar a forma como os modelos de linguagem são avaliados e utilizados. Com uma abordagem mais justa e abrangente, pesquisadores e desenvolvedores poderão tomar decisões mais informadas sobre os modelos a serem utilizados em seus projetos.

FONTES:

1. LLM Explorer Update