Desde o lançamento do ChatGPT, diversos modelos de linguagem têm enfrentado vulnerabilidades a jailbreaks, que permitem contornar suas proteções e gerar conteúdos prejudiciais. Muitas empresas estão em busca de soluções eficazes para defender seus sistemas contra tais ataques, embora a total segurança ainda pareça inatingível.

O novo método da Anthropic, chamado 'constitutional classifiers', visa filtrar a maioria das tentativas de jailbreak, minimizando também os casos em que prompts inocentes são indevidamente rejeitados. Essa abordagem não exige grandes recursos computacionais e foi baseada em pesquisas extensivas com 10.000 prompts de jailbreak, que ajudaram a treinar os classificadores.

Os resultados iniciais foram promissores, com uma taxa de sucesso de apenas 4,4% em tentativas de jailbreak quando comparado a 86% no modelo desprotegido. Para validar a eficácia, a equipe da Anthropic também lançou um programa de recompensas para incentivar red teamers a quebrar suas defesas.

1. O modelo Claude 3.5 demonstrou uma taxa de recusa de 95% em tentativas de jailbreak.

2. A equipe da Anthropic gerou 10.000 prompts de jailbreak para treinamento.

3. Um programa de recompensas foi introduzido para red teamers, com um total de $15,000 em prêmios.

4. As técnicas de jailbreak mais comuns incluem parafraseamento benigno e exploração de comprimento.

5. Nenhum jailbreak universal foi descoberto durante o teste com participantes.

As tentativas de jailbreak focaram em estratégias variadas, como a parafraseação para camuflar perguntas prejudiciais. Isso indica que os atacantes estão buscando falhas nas definições de avaliação dos modelos, mais do que nas salvaguardas propriamente ditas. Apesar de a técnica de 'constitutional classifiers' não garantir proteção total, os pesquisadores acreditam que torna os ataques muito mais difíceis.

As inovações da Anthropic marcam um passo significativo na segurança de modelos de linguagem, destacando a importância da defesa em IA contra práticas maliciosas. É essencial acompanhar a evolução dessa tecnologia, pois o futuro da segurança em inteligência artificial dependerá de inovações contínuas e da colaboração entre desenvolvedores e especialistas em segurança. Para se manter atualizado sobre essas tendências, assine nossa newsletter e não perca os novos conteúdos que trazemos diariamente.

FONTES:

1. VentureBeat

2. Anthropic

3. arxiv.org

4. OpenAI

5. Thomson Reuters