Por David Brauchler (*)

Com 2 em cada 3 organizações a utilizar regularmente IA generativa e 1 em cada 5 profissionais de DevOps a aplicá-la no ciclo de desenvolvimento de software, a adoção da IA está profundamente enraizada nas soluções empresariais.

Sem sinais de abrandamento, esta rápida adoção está a levantar sérias preocupações entre os CISOs (Chief Information Security Officers) - e com razão.

Quer esteja a desenvolver um produto próprio de IA, a utilizar uma ferramenta de IA para melhorar um serviço ou a estabelecer parcerias com fornecedores terceiros que dependem de IA, a segurança pode ser um verdadeiro enigma. Pode confiar nas ferramentas que está a implementar? Sabe que modelos os seus engenheiros estão a utilizar? Tem confiança no comportamento da IA? Implementou controlos arquiteturais que impeçam a sua manipulação por agentes mal-intencionados? A aplicação permanecerá segura mesmo que uma injeção de prompts seja bem-sucedida?

Na maioria das organizações, a resposta a estas perguntas é um preocupante e embaraçoso "não".

A dura realidade é que a IA introduz riscos sem precedentes para os quais a maioria das empresas não está preparada. Vários incidentes notáveis já demonstraram este facto, incluindo:

  • A fuga acidental de dados da Samsung através do ChatGPT
  • A compra de um Chevrolet Tahoe por apenas $1 através da manipulação de um chatbot
  • A vulnerabilidade de exfiltração de dados de canais privados no Slack
  • O erro do Bard da Google que custou $100 mil milhões

O crescimento exponencial da IA expõe uma necessidade crítica de adotar uma abordagem de segurança em primeiro lugar no desenvolvimento de aplicações.

Embora possa parecer um território desconhecido, os princípios fundamentais da segurança continuam os mesmos - apenas a sua aplicação é diferente.

Aqui estão alguns dos principais riscos a ter em conta:

Variação estatística - Podemos contar que aplicações tradicionais se comportem sempre da mesma forma, salvo erros ou exceções. No entanto, a IA é um modelo estatístico por definição, o que significa que introduz variabilidade nos seus comportamentos. Isso significa que podemos ter uma ideia geral de como se comportará, mas nunca podemos ter certeza absoluta, pois os modelos mais avançados estão constantemente a evoluir. Além disso, a consistência pode ser uma preocupação. Os modelos de IA podem responder de formas diferentes ao mesmo prompt, mas têm de escolher uma opção - e essa escolha pode não ser sempre a mesma, especialmente se a pergunta mudar ligeiramente. E isto sem sequer considerar o risco de alguém manipular intencionalmente o modelo para provocar respostas inadequadas.

Considerações sobre a cadeia de fornecimento de software - Cada vez mais soluções empresariais de terceiros incorporam IA sem que os utilizadores tenham consciência. Se essas ferramentas forem utilizadas para processar dados sensíveis, pessoais ou protegidos, representa um risco significativo para a organização. Sabe que sistemas estão em uso na sua empresa? Confia que esses fornecedores terceiros vão gerir os seus dados de forma responsável? O que acontece se os sistemas deles forem comprometidos? A cadeia de responsabilidade em caso de uma violação pode tornar-se extremamente complexa para todas as partes envolvidas.

Permanência dos dados - Além de entender como os modelos de IA e os seus fornecedores utilizam os dados, as empresas devem estar cientes de que, depois do treino, os dados ficam permanentemente incorporados no modelo. Com aplicações tradicionais, se um erro for cometido, pode solicitar ao fornecedor que remova os dados. No entanto, num modelo de IA, os dados utilizados no treino tornam-se parte do modelo e não podem ser simplesmente apagados.

Falta de normas estabelecidas - Embora existam novas regulamentações emergentes como ISO/IEC 42001, NIST AI Standards e o AI Act da UE, ainda não há padrões amplamente aceites. Isto significa que as organizações precisam de definir os seus próprios padrões e controlos de segurança, limitando a colaboração e a partilha de conhecimento a nível da indústria.

Implicações de direitos de autor - Atualmente, o Gabinete de Direitos de Autor dos EUA determinou que todo o conteúdo gerado por IA é domínio público, a menos que se prove intervenção humana significativa. Isto significa que empresas que utilizam IA para gerar logótipos, textos ou outros conteúdos podem não conseguir protegê-los legalmente.

Como construir um quadro seguro para integração da IA?

  1. Defina uma visão clara. Antes de integrar IA, estabeleça objetivos concretos sobre como pretende "fazer IA" na sua organização. O que está a tentar alcançar? Pense em como protegerá os dados, selecionará ferramentas e que arquiteturas utilizará. Ter uma compreensão clara do que está a fazer e porquê, bem como um conhecimento aprofundado dos riscos, evitará que implemente IA apenas porque sim.
  2. Desenvolva uma arquitetura de referência para segurança. Crie um documento que defina a política e os protocolos padrão para a implementação da IA na sua organização. Este documento deve estabelecer regras para limites de segurança, controlos de integração e práticas recomendadas. Já existem modelos disponíveis que podem ser personalizados para se adequarem ao seu contexto específico.
  3. Estabeleça diretrizes de gestão de dados. Defina critérios para a seleção de modelos e acompanhe mudanças ao longo do tempo para garantir a proveniência dos dados. Compreenda como os modelos que usa tratam os seus dados e, se estiver a construir o seu próprio modelo, estabeleça políticas sobre a utilização dos dados dos seus clientes.
  4. Monitorize o output e o comportamento dos modelos. Como os modelos de IA são imprevisíveis, deve criar um processo para validar que se mantêm dentro do âmbito esperado. Pode fazê-lo manualmente através de benchmarks, integrar um botão de denúncia na UX, capturar e rever outputs regularmente ou fazer amostragens aleatórias para verificar a conformidade.
  5. Incorpore segurança desde o design. A forma como os sistemas de IA são estruturados pode determinar a segurança geral. Comece por implementar separação entre dados e código para garantir que modelos confiáveis e não confiáveis não interagem diretamente.
  6. Realize modelação de ameaças. Certifique-se de que a equipa de DevOps compreende como a IA altera os modelos de ameaça e que cada projeto passa por um exercício de modelação de ameaças antes de ser implementado em produção.
  7. Realize testes dinâmicos. Contrate especialistas "red teaming" para avaliar os seus modelos e aplicações de IA de forma abrangente. Muitas organizações concentram-se em testar preconceitos, mas ignoram o potencial de abuso da IA para fins maliciosos. Para ser franco, deveria estar mais preocupado com o facto de o seu modelo de IA permitir que um agente mal-intencionado tenha acesso para eliminar as suas contas ou manipular o seu modelo do que com a possibilidade de ele insultar alguém.
  8. Treine e valide. A IA pode ser um território desconhecido até mesmo para os engenheiros mais experientes. Traga especialistas em segurança de aplicações de IA para treinar a sua equipa sobre riscos e estratégias de proteção. Depois, valide a conformidade com listas de verificação e processos de revisão de integração.

Embora a IA traga oportunidades incríveis, as organizações devem equilibrar inovação com segurança. Ao aplicar as melhores práticas e princípios fundamentais da segurança, as empresas podem integrar a IA de forma segura e sustentável.

(*) Diretor Técnico, NCC Group