O benchmark 'Humanity’s Last Exam' foi desenvolvido para testar os limites do conhecimento da inteligência artificial, abrangendo áreas como matemática, humanidades e ciências naturais. Os resultados indicam uma marcante evolução nos modelos mais recentes em relação às suas capacidades de raciocínio, mas ainda assim, a maioria dos modelos não consegue responder corretamente a questões complexas.

Com o objetivo de evitar a "saturação de benchmark", onde modelos se saem bem em testes repetidos mas falham em questões fora do escopo, CAIS e Scale AI coletaram mais de 70.000 perguntas, refinando-as até chegar a um conjunto final de 3.000 questões que foram submetidas a diversos modelos de linguagem avançados, como OpenAI GPT-4o e Google Gemini 1.5 Pro.

As perguntas foram elaboradas por quase 1.000 especialistas de mais de 500 instituições, englobando desafios textuais e multimodais. Exemplos de perguntas exigiam respostas precisas e lógicas por parte dos modelos, desafiando suas capacidades em áreas de conhecimento avançado.

1. Menos de 10% de acertos pelos modelos em perguntas de especialistas.

2. Mais de 70.000 perguntas coletadas para a elaboração do exame.

3. Frente a um avanço significativo, os modelos ainda enfrentam limitações.

4. Benchmark desenvolvido para evitar a saturação de testes existentes.

5. Cooperação global com quase 1.000 contribuintes.

Os resultados de 'Humanity’s Last Exam' não apenas ajudam a entender melhor as falhas da IA, mas também oferecem um roteiro para futuras pesquisas e desenvolvimentos. O CAIS e a Scale AI planejam abrir o banco de dados para a comunidade de pesquisa, permitindo uma avaliação mais profunda das variações de desempenho dos modelos.

- Abertura de dados para avaliação contínua. - Importância da identificação de lacunas no raciocínio da IA. - Inovação no desenvolvimento de benchmarks. - Impacto na pesquisa sobre segurança em IA.

A 'Humanity’s Last Exam' representa um avanço significativo no entendimento das capacidades e limitações da IA, incentivando futuras pesquisas que busquem superar as barreiras atuais. O envolvimento da comunidade acadêmica e o compartilhamento de dados prometem fomentar um diálogo contínuo sobre segurança e progresso na área de inteligência artificial.

Os resultados de 'Humanity’s Last Exam' ressaltam a necessidade de continuar o desenvolvimento de modelos de IA que possam evoluir para níveis de raciocínio mais sofisticados. Convidamos os leitores a se inscreverem em nossa newsletter e acompanharem conteúdos atualizados diariamente sobre os avanços em IA e suas implicações na sociedade.

FONTES:

1. arXiv

2. Humanity's Last Exam