Transparência em IA: O Debate Sobre Abertura e Open-Washing

Tecnologia Inteligência Artificial Segurança da Informação

Em meio a um crescente foco em transparência e segurança na indústria de Inteligência Artificial (IA), especialistas da Endor Labs discutem a verdadeira definição de 'abertura' em modelos de IA, destacando a importância de aplicar conceitos de segurança de software a esses sistemas.

Create a corporate, flat-style, vector illustration showcasing several components of an Artificial Intelligence (AI) system such as data, models, and security on a white and texture-free background. Use a 2D, linear perspective. Include visual elements to represent openness and transparency in AI. Incorporate bright colors. Additionally, include icons of padlocks to symbolize security, data graphs to embody open and transparent data, silhouettes of males and females from various descents to signify the diverse developer community, and interconnected paths to illustrate the collaboration among stakeholders.

Imagem gerada utilizando Dall-E 3

A indústria de IA vive um momento crítico, onde a transparência e a segurança se tornaram temas centrais de debate. Andrew Stiefel, da Endor Labs, enfatiza que a aplicação das lições aprendidas com a segurança de software a sistemas de IA é um passo lógico. Ele cita a Ordem Executiva do governo dos EUA, que exige a produção de um Software Bill of Materials (SBOM) para produtos vendidos a agências federais, sugerindo que esse conceito deve ser replicado na IA para melhorar a visibilidade e a segurança.

Julien Sobrier, outro especialista da Endor Labs, complementa que para um modelo de IA ser considerado como 'aberto', é necessário disponibilizar toda a cadeia de componentes que o compõem, incluindo conjuntos de treinamento e pesos. Ele aponta a falta de uma definição consistente do que significa 'aberto' entre os principais players do setor, como OpenAI e Meta, e alerta sobre o fenômeno do 'open-washing', onde empresas se apresentam como transparentes enquanto impõem restrições.

A DeepSeek, uma empresa controversa no setor de IA, tomou medidas para aumentar a transparência ao tornar partes de seus modelos e código open-source. Stiefel observa que essa iniciativa permitirá uma auditoria mais eficaz dos sistemas em busca de riscos de segurança, além de facilitar que outros usuários criem versões próprias dos modelos da DeepSeek.

As organizações estão preferindo modelos de IA open-source em vez de opções comerciais, com 60% optando por esta abordagem.
Um estudo da Endor Labs revela que as empresas utilizam em média entre sete e vinte e um modelos open-source por aplicação.
A adoção acelerada de IA open-source traz novas responsabilidades na avaliação de riscos e segurança.
Stiefel sugere um método sistemático para gerenciar riscos associados a modelos de IA.
Sobrier ressalta a importância de desenvolver práticas recomendadas para a construção e adoção de modelos de IA de forma segura.

A responsabilidade no crescimento da IA deve ser assegurada através da adoção de controles em diferentes vetores, como modelos SaaS, integrações de API, e utilização de modelos open-source. Sobrier destaca a necessidade da comunidade de desenvolver uma metodologia para classificar modelos de IA de acordo com segurança e abertura.

A discussão sobre a transparência em IA e a definição de 'abertura' é crucial para garantir um desenvolvimento seguro e responsável dessa tecnologia. Com o aumento do uso de modelos open-source, torna-se essencial que as organizações avaliem os riscos associados. Os leitores são incentivados a se inscrever na nossa newsletter para se manterem atualizados sobre as últimas novidades e debates no mundo da IA.