No dia 27 de maio, às 14:00, terá lugar a DEEC TALK "Computational Safety for Generative AI". A sessão será realizada na EA5, Torre Norte, e será conduzida por Pin-Yu, principal research scientist no IBM Thomas J. Watson Research Center, em Yorktown Heights, NY, EUA.

Resumo

Os modelos de linguagem de grande escala (LLMs) e a Inteligência Artificial Generativa (GenAI) estão na vanguarda da investigação e tecnologia em IA. Com o seu rápido aumento de popularidade e disponibilidade, os desafios e preocupações relacionados com o seu uso indevido e os riscos de segurança estão a tornar-se mais evidentes do que nunca.

Nesta apresentação, introduzimos um quadro computacional unificado para avaliar e melhorar uma ampla gama de desafios de segurança na inteligência artificial generativa. Em particular, apresentaremos novas ferramentas e perspetivas para explorar e mitigar os riscos de segurança e robustez associados a modelos LLM e GenAI de última geração, incluindo:

• riscos de segurança no fine-tuning de LLMs;
• red-teaming de LLMs e mitigação de jailbreaks;
• engenharia de prompts para depuração de segurança;
• deteção robusta de conteúdo gerado por IA.

Sobre o orador

O Dr. Pin-Yu Chen é principal research scientist no IBM Thomas J. Watson Research Center, em Yorktown Heights, NY, EUA. É também o cientista-chefe da RPI-IBM AI Research Collaboration e investigador principal (PI) de projetos em curso do MIT-IBM Watson AI Lab. O Dr. Chen obteve o seu doutoramento (Ph.D.) em engenharia eletrotécnica e ciência da computação e um M.A. em Estatística pela University of Michigan, Ann Arbor, EUA, em 2016. Obteve o grau de M.S. em engenharia de comunicações pela National Taiwan University, Taiwan, em 2011, e o grau de B.S. em engenharia eletrotécnica e ciência da computação (programa de honra de licenciatura) pela National Chiao Tung University, Taiwan, em 2009. 

A investigação recente do Dr. Chen foca-se na segurança e robustez em IA. A sua visão de longo prazo é construir sistemas de aprendizagem automática fiáveis. Recebeu o IJCAI Computers and Thought Award em 2023 pelas suas contribuições na consolidação de propriedades de confiança, robustez e segurança em procedimentos algorítmicos rigorosos e métricas computáveis para melhorar sistemas de IA. Publicou mais de 50 artigos relacionados com aprendizagem automática fiável em conferências de topo em IA e machine learning, deu tutoriais no NeurIPS’22, AAAI(’22,’23,’24), IJCAI’21, CVPR(’20,’21,’23), ECCV’20, ICASSP(’20,’22,’23,’24), KDD’19 e Big Data’18, e organizou vários workshops sobre aprendizagem automática adversarial. É coautor dos livros “Introduction to Foundation Models” e “Adversarial Robustness for Machine Learning”. Os seus interesses de investigação incluem também análise de grafos e redes e as suas aplicações em data mining, machine learning, processamento de sinal e cibersegurança. Foi distinguido com a bolsa Chia-Lun Lo Fellowship pela University of Michigan Ann Arbor. Recebeu ainda o IEEE GLOBECOM 2010 GOLD Best Paper Award e o UAI 2022 Best Paper Runner-Up Award. Atualmente, integra o corpo editorial de Transactions on Machine Learning Research, IEEE Transactions on Signal Processing, IEEE Transactions on Pattern Recognition and Machine Intelligence e IEEE Access. É também area chair em conferências de topo em IA/ML, incluindo NeurIPS, ICLR, ICML, AAAI, IJCAI, PAKDD, entre outras. É IEEE Fellow, membro sénior da ACM e Distinguished Lecturer da ACM. É ainda membro dos comités técnicos IEEE SPS MLSP e ASPS. Em 2025, recebeu o IEEE SPS Industry Young Professional Leadership Award.

No IBM Research, o trabalho do Dr. Chen contribui para bibliotecas open-source da IBM, incluindo Adversarial Robustness Toolbox (ART 360), AI Explainability 360 (AIX 360) e In-Context Explainability 360 (ICX-360). As suas invenções são incorporadas em produtos da IBM, incluindo Watson Studio e Watsonx.governance.  O Dr. Chen é co-inventor de mais de 50 patentes nos EUA e recebeu o título de IBM Master Inventor. Em 2022 e 2023, recebeu os IBM Pat Goldberg Memorial Best Paper Awards. Em 2021, recebeu um IBM Corporate Technical Award. Em 2020, recebeu um prémio especial de divisão do IBM Research relacionado com investigação sobre a COVID-19. Recebeu também vários IBM Outstanding Research Accomplishment Awards. É representante da IBM no U.S. Artificial Intelligence Safety Institute. O seu modelo de deteção de texto gerado por IA foi descarregado mais de 2,5 milhões de vezes no Hugging Face.