Recentemente, uma equipe do MIT, liderada por Zengyi Qin, desenvolveu um benchmark interno para avaliar agentes de uso computacional, especificamente testando o OpenAI Operator. Em cinco tarefas práticas, o sistema não obteve sucesso em nenhuma delas, evidenciando lacunas na capacitação do software.

Os testes foram divididos em cinco tarefas que incluíam a manipulação de imagens e a resolução de problemas matemáticos complexos. Os resultados mostraram que, enquanto o Operator se destacou em tarefas de *visual grounding*, ele falhou em entender a lógica interativa essencial para realizar tarefas que exigiam navegação e uso de ferramentas online. O estudo sugere que a equipe da OpenAI tem focado consideravelmente em treinamentos pós-processamento, deixando deficiências no pré-treinamento.

Os principais pontos da pesquisa indicam que o Operator não possui conhecimento suficiente sobre o uso básico da web, o que deveria ser abordável com um treinamento adequado.

1. Operador se destacou em tarefas de visual grounding.

2. Não compreende lógica interativa de maneira eficaz.

3. Desempenho abaixo do esperado em tarefas práticas.

4. Foco excessivo em pós-treinamento ao invés de pré-treinamento.

5. Necessidade de uma coleta de dados robusta para melhorias futuras.

A pesquisa também destacou a colaboração da equipe do MIT com fornecedores de dados para coletar um volume maciço de dados para o pré-treinamento, o que pode contribuir significativamente para a melhoria do desempenho do Operator.

- Limitações nas habilidades de utilização de ferramentas online. - Falta de conhecimento em conceitos básicos. - Importância de uma base de dados sólida para treinamento. - Desafios na implementação de lógica interativa.

As implicações dessas falhas são significativas para o futuro do OpenAI Operator. Uma abordagem mais equilibrada entre o treinamento pré e pós pode potencialmente melhorar a eficácia do sistema em tarefas mais complexas. A pesquisa reforça a necessidade de um foco ampliado em treinos que preparem o software para o uso real.

Em suma, o estudo indica que o OpenAI Operator ainda tem um longo caminho a percorrer para atingir um nível aceitável de desempenho em tarefas interativas e de uso prático. Para os interessados em tecnologia e inteligência artificial, acompanhar como esses desenvolvimentos se desenrolam é crucial. Inscreva-se em nossa newsletter para mais atualizações sobre inovações e pesquisas na área.

FONTES:

1. Zengyi Qin no MIT

2. Twitter de Zengyi Qin