No dia 27 de maio, decorreu a DEEC TALK "Computational Safety for Generative AI". A sessão contou com a participação de Pin-Yu Chen, investigador no IBM Thomas J. Watson Research Center, em Yorktown Heights, NY, EUA. A investigação mais recente do Dr. Chen foca-se na segurança e robustez em modelos IA. O seu objetivo é, a longo prazo, construir sistemas de aprendizagem automática fiáveis.

A sessão teve início com uma breve apresentação do orador, por parte de Sérgio Pequito, vice-presidente de investigação, desenvolvimento e relações externas do DEEC.

Pin-Yu Chen começou por explicar em que consistem os modelos de fundação e a inteligência artificial generativa. Neste contexto, modelos centralizam a informação contida em dados, de diferentes modalidades, para responder a determinadas tarefas. Por exemplo, um modelo pode ser treinado para finalidades como responder a perguntas, reconhecer objetos, legendar imagens ou seguir instruções tendo em conta a análise de dados fornecidos através de texto, áudio, imagem, vídeo e/ou sinais 3D e as instruções (prompt) dadas ao sistema.

No entanto, esta área levanta questões éticas como a transparência do modelo e os riscos da utilização do mesmo tais como over-alignment (ou "sobre-alinhamento"). Neste caso, o modelo pode apresentar problemas relacionados com a equidade e a veracidade dos resultados. Como exemplo, o investigador apresentou um caso real que ocorreu em 2024: quando foram dadas instruções ao modelo de IA desenvolvido pela google para gerar imagens de pessoas, o próprio sistema, influenciado pela tentativa de criar resultados que incluíssem as diferentes etnias, perdeu a capacidade de avaliar o contexto histórico das mesmas. O resultado acabou por distorcer a realidade, apresentando resultados falaciosos.

Por outro lado, existe também o risco de under alignment (ou "sub-alinhamento"), quando o sistema não consegue rejeitar pedidos prejudiciais ou antiéticos. Embora seja possível ajustar os modelos de linguagem de IA (finetuning LLMs), de forma a treinar os sistemas para determinadas tarefas evitando os problemas de alinhamento, quando o sistema é exposto a novos dados durante o finetuning existe um enfraquecimento inerente das barreiras de segurança do modelo.

Além das questões associadas ao alinhamento, a utilização de IA generativa está também associada a riscos como o plágio, burlas e desinformação.

Por estes motivos, Pin-Yu Chen destacou que é necessário conhecer os riscos e os possíveis danos da utilização destes sistemas no mundo real, considerando a cibersegurança e as consequências da utilização, por parte dos diferentes tipos de público, tendo em conta o seu impacto social, económico e político. O investigador destacou que uma das possibilidades é a realização de testes de mapeamento tanto nos sistemas de IA tradicionais (utilizados para desempenhar apenas uma tarefa específica), como nos modelos de IA generativa, incluindo domínios como instruções problemáticas, ataques maliciosos e a contaminação de dados. Desta forma, Pin-Yu Chen sugeriu 4 fases de atuação: teste e procura de falhas no sistema, reajuste do algoritmo (debugging), implementação de sistemas de deteção de falhas em tempo real e avaliação sistémica do sistema.

Adicionalmente, tendo em conta visão holística do fluxo de trabalho de IA generativa, o investigador realçou a importância de ter em conta três componentes: o input que é dado ao sistema, incluindo as instruções dadas, o contexto de situações e questões do utilizador, a cadeia de pensamentos e raciocínio, o finetuning e os agentes do modelo, e o output.

É neste contexto que surge a segurança computacional, que pode ser definida como «um conjunto de problemas de segurança que podem ser formulados como uma tarefa de teste de hipóteses em processamento de sinais», explicou Pin-Yu Chen. Na sua mais recente investigação, o investigador tem-se centrado na formulação de hipóteses generativas que envolvem a IA como juiz (AI-as-a-judge), tendo em conta dois tipos de hipótese - uma alternativa (H1) e uma nula (H0). No entanto, o especialista chamou a atenção para o facto de, neste caso, as hipóteses dependerem do contexto e de não ser fácil de defini-las matematicamente.

Este método pode ser utilizado em vários contextos, criando hipóteses para a deteção e mitigação de jailbreak prompt (onde os utilizadores tentam contornar as regras de segurança do modelo), para a identificação de instruções problemáticas, para reduzir o enfraquecimento do modelo decorrente do finetuning e para detetar conteúdo produzido por IA (texto, imagens, áudio.. entre outros).

Estas hipóteses podem ser usadas em vários tipos de problema:

Domínio do problema	Hipótese alternativa (H1)	Hipótese nula (H0)
Jailbreak prompt	O input do modelo tenta contornar os guardrails de segurança.	É usado um input legítimo do modelo.
Conteúdo gerado por IA	A amostra foi gerada por IA.	A amostra é real.
Fine-tuning	As atualizações do modelo comprometem o alinhamento de segurança.	As atualizações do modelo são legítimas.
Marca de água (Watermark)	A amostra de dados contém marca de água.	A amostra de dados não contém marca de água.
Inferência de Pertencença (Membership Inference)	A amostra de dados foi utilizada no treino do modelo.	A amostra de dados não foi utilizada no treino do modelo.
Contaminação de dados (Data Contamination)	Um conjunto de dados foi utilizado no treino do modelo.	Um conjunto de dados não foi utilizado no treino do modelo.

No que diz respeito à deteção de conteúdo produzido por IA, Pin-Yu Chen acrescentou também algumas das ferramentas disponíveis atualmente:

• RADAR (para texto);
• RIGID (para imagens);
• AudioPerturber (para áudio).

Em conclusão, o investigador destacou que, no panorama atual, os modelos de fundação são essenciais e a capacidade de gestão de risco está a tornar-se no elemento diferenciador, dado que, a curto prazo, os modelos serão semelhantes devido às fontes de dados comuns.