Avanços em Red Teaming: Unindo Especialistas e IA para Modelos Mais Seguros

Tecnologia Inteligência Artificial Segurança Digital

Dois novos artigos divulgados pela OpenAI, em 21 de novembro de 2024, destacam como as iniciativas de red teaming, que combinam a expertise humana e inteligência artificial, estão evoluindo para garantir que os modelos de IA sejam seguros e eficazes.

Create a 2D, flat and corporate style, vector image illustrating a diverse group of experts collaborating with an AI for risk assessment in AI systems. This scene should include a Caucasian man, a Black woman, and a South Asian man sitting around a modern office table filled with computers, data analysis graphs, and diagrams against a plain white background. An assistant robot, symbolizing the integration of AI into the process, can be seen interacting with the group.

Imagem gerada utilizando Dall-E 3

O red teaming consiste em usar abordagens estruturadas, utilizando tanto humanos quanto IA, para identificar riscos potenciais em novos sistemas de IA. A OpenAI tem empregado essas técnicas por vários anos, começando com testes manuais e evoluindo para métodos automatizados e mistos. Em 2022, a organização já havia colaborado com especialistas externos para testar o modelo DALL·E 2.

Recentemente, a empresa compartilhou dois artigos importantes: um white paper sobre como engajar red teamers externos e um estudo de pesquisa que introduz uma nova técnica para red teaming automatizado. Essas publicações visam aprimorar os métodos de red teaming e contribuir para o desenvolvimento de uma IA mais segura.

As campanhas de red teaming externas são planejadas com cuidado, definindo escopo, selecionando membros e determinando quais versões dos modelos devem ser testadas. A interação eficaz entre red teamers e modelos envolve instruções claras e interfaces adequadas, o que é crucial para a coleta de feedback estruturado.

Escolha da composição do grupo de red teaming com base em metas específicas.
Decisão sobre quais versões do modelo os red teamers terão acesso.
Criação de interfaces e documentação para guiar os red teamers.
Síntese de dados e criação de avaliações após a campanha.
Teste de resistência a ataques de jailbreak e outros prompts.

Além disso, a OpenAI investiga novas abordagens para red teaming automatizado, buscando aumentar a diversidade e eficácia dos ataques simulados, utilizando IA capaz de gerar exemplos variados e relevantes. No entanto, essas técnicas ainda enfrentam limites em termos de tática e variedade.

Os esforços da OpenAI em red teaming destacam a importância de uma abordagem proativa para mapear riscos associados à IA em um cenário tecnológico em rápida evolução. Com um compromisso contínuo para melhorar a segurança de seus modelos, a OpenAI não só fortalece a confiança nas suas soluções, mas também contribui para um futuro em que a IA é utilizada de forma responsável. Para mais informações e atualizações sobre tecnologias emergentes, inscreva-se na nossa newsletter e fique por dentro das novidades.