Tradicionalmente, a ênfase dos desenvolvedores de inteligência artificial tem sido a redução do tempo de inferência, visando aumentar a velocidade das respostas. No entanto, a nova pesquisa da OpenAI sugere que, para enfrentar a robustez adversarial, essa abordagem deve ser reconsiderada. A equipe descobriu que ao aumentar o tempo de cálculo durante a inferência, os modelos se tornaram mais resistentes a ataques, como manipulações de imagens e tentativas de confundir modelos com informações excessivas.

Os testes foram realizados utilizando os modelos o1-preview e o1-mini, onde diversos métodos de ataque foram lançados para verificar a probabilidade de sucesso dos ataques em função do tempo de cálculo. Os pesquisadores observaram que, em muitos casos, a probabilidade de ataque bem-sucedido diminuía drasticamente à medida que o tempo de 'pensamento' aumentava. Eles afirmam que, embora os modelos não sejam inquebráveis, o aumento do tempo de inferência resulta em uma melhoria significativa na robustez contra diversos tipos de ataques.

A pesquisa também abordou a capacidade dos modelos de resolver problemas matemáticos simples e complexos, onde a criação de 'metas' para adversários - como induzir o modelo a fornecer respostas incorretas - demonstrou que o aumento do tempo de cálculo levou a uma melhoria na precisão. Os pesquisadores observaram que as tarefas ambiguas ainda apresentam desafios, pois os modelos podem cair em armadilhas que exploram essas incertezas.

1. O aumento do cálculo durante a inferência melhora a resistência contra ataques adversariais.

2. Modelos se tornaram mais eficazes em resolver problemas matemáticos complexos com mais tempo.

3. Testes mostraram que a probabilidade de sucesso dos ataques decaiu com maior tempo de 'pensamento'.

4. As tarefas ambíguas ainda constituem um desafio para os modelos.

5. Métodos especializados para ataques red-team foram desenvolvidos para testar os limites dos modelos.

Além disso, a pesquisa introduziu métodos de ataque como 'many-shot jailbreaking', que exploram a disposição dos modelos em seguir exemplos de poucos disparos. Os pesquisadores observaram que aumentar o tempo de cálculo permitiu que os modelos detectassem e mitigassem esses ataques mais frequentemente. No entanto, algumas abordagens ainda conseguem eludir as defesas.

- O impacto do tempo de inferência na segurança dos modelos de IA. - A relação entre robustez e a complexidade das tarefas enfrentadas. - Implicações para o uso de IA em aplicações do mundo real. - A necessidade de mecanismos mais eficazes contra ataques sofisticados.

Os pesquisadores ressaltam a importância de considerar como os atacantes exploram o tempo de inferência. Abordagens que reduzem a capacidade de cálculo, como os ataques 'think less', são parte de um novo desafio para garantir que os modelos funcionem de forma confiável em cenários do mundo real.

A pesquisa da OpenAI destaca a crescente complexidade e vulnerabilidades dos modelos de IA, reforçando a necessidade de desenvolver métodos mais robustos para combatê-las. À medida que a inteligência artificial desempenha funções cada vez mais autônomas e críticas, garantir sua segurança se torna essencial. Para mais atualizações sobre este e outros tópicos de IA, assine nossa newsletter diária e fique por dentro das novidades mais relevantes do setor.

FONTES:

1. VentureBeat

2. MATH dataset

3. SimpleQA factuality benchmark

4. StrongREJECT benchmark

5. Pesquisa OpenAI