Moveworks Apresenta Século do AI: Segurança e Privacidade em Foco na Nova Geração do Copilot

Inteligência Artificial Segurança da Informação Tecnologia

A Moveworks lançou seu novo copilot de IA, com foco em segurança e responsabilidade, destacando a importância de desenvolver e utilizar inteligência artificial de forma ética e protegida, enquanto enfrenta os desafios do uso de large language models (LLMs) em ambientes empresariais.

Imagem gerada utilizando Dall-E 3

A Moveworks introduziu o Agentic Automation Engine, uma ferramenta que promete aumentar a produtividade das empresas por meio da inteligência artificial. No entanto, enfatiza que o desenvolvimento e uso de IA devem ser realizados com segurança e responsabilidade. A empresa investiu consideráveis recursos em engenharia para garantir que o novo copilot respeite padrões éticos, e passa por rigorosos testes de segurança.

O novo copilot, que integra dados de funcionários e clientes em ambientes de TI empresariais, está sujeito a riscos significativos, como manipulação de prompts e divulgação de informações sensíveis. A Moveworks se comprometeu a adotar melhores práticas para garantir a segurança, focando em evitar riscos como *hallucination* e *disinformation*, que podem comprometer a confiança do público.

Entre as vulnerabilidades abordadas estão injeção de prompts, manipulação de saídas inseguras e falhas na validação de identidade. A Moveworks adotou um sistema de moderação de conteúdo para bloquear desinformação e um sistema de verificação de fatos para garantir que as respostas do copilot correspondam à documentação de suporte. Além disso, práticas de *red-teaming* foram implementadas para testar as defesas do sistema contra ataques reais.

Identificação de riscos potenciais através do OWASP Top 10.
Mitigação de *hallucinations* por meio de verificação de fatos.
Prevenção de *disinformation* com um sistema de moderação de conteúdos.
Detecção de injeções de prompts para proteger contra manipulações maliciosas.
Validação de identidade com uso de plataformas de chat confiáveis como Slack ou Microsoft Teams.

Embora a empresa tenha abordado as vulnerabilidades conhecidas, o compromisso de segurança da Moveworks vai além, envolvendo medidas contínuas de monitoramento e novos desenvolvimentos para enfrentar ameaças emergentes, como a descoberta automatizada de vulnerabilidades e testes de fuzz.

- Adoção de um sistema de moderação de conteúdo. - Implementação de um sistema de verificação de fatos. - Desenvolvimento de um sistema de proteção contra manipulações. - Validação contínua da identidade dos usuários.

Essas iniciativas não apenas protegem os usuários, mas também promovem um ambiente ético para a adoção de inteligência artificial nas empresas, mostrando que a Moveworks está empenhada em garantir que sua tecnologia seja confiável e segura.

Em resumo, a Moveworks está atenta às questões de segurança e privacidade em sua nova geração do copilot. Ao compartilhar suas práticas e metodologias, a empresa visa não apenas proteger seus clientes, mas também estabelecer um padrão para a indústria. Os interessados em segurança da IA são encorajados a se inscrever na nossa newsletter para mais conteúdos atualizados diariamente sobre o tema.