IPN/LIS/2025/CON37
-
Reference
IPN/LIS/2025/CON37 -
Unit
Laboratório de Informática e Sistemas -
Scientific Area
Engenharia Electrotécnica e Informática -
Place of Performance
Instituto Pedro Nunes -
Documents
Modelo de contrato de bolsa
Modelo de relatório final
-
Support
-
Advisor
Marília Curado -
Advisor Institution
Departamento de Engenharia Informática da FCTUC -
Advisor category
Professor catedrático -
Goals
Pretende-se identificar, desenvolver e integrar mecanismos tais como controlo de privilégios de acesso, guardrails ou contexto de utilização autorizada (ou não autorizada), que melhorem o alinhamento de segurança de LLMs no contexto da sua aplicação em diálogos com fins psicoterapêuticos, e previnam ou minimizem riscos como injeção direta ou indireta, melhorando a integração responsável de LLM nesse âmbito.
Nesse sentido, a bolsa contempla o estudo aprofundado e configuração de grandes modelos de linguagem (LLMs), riscos e ameaças que afetam a sua segurança no contexto em causa, mecanismos de proteção / controlo adequados aos riscos principais, e metodologias de avaliação adequadas.
-
Work Plan Area
Abordagens para integração segura de LLMs no contexto de psicoterapia -
Work Plan
1) Revisão da literatura da área de grandes modelos de linguagem (LLMs), riscos e ameaças associados à integração de LLMs para diálogos de longo contexto com utilizadores, mecanismos focados em fornecer segurança à operação de LLMs (em particular, definição de privilégios de acesso a dados ou ferramentas, e mecanismos de filtragem de outputs), incluindo atividades da indústria particularmente relevantes (ex. OWASP GenAI Security Project ).
2) Estudo e familiarização com ferramentas de filtragem open-source de referência, como Llama Guard, NVIDIA NeMoGuardrails, GuardrailsAI, Semgrep, PyRIT, garak, etc.
3) Estudo e definição de casos de uso e requisitos para a solução.
4) Especificação de alto-nível da solução.
5) Experimentação com ferramentas open-source selecionadas.
6) Especificação detalhada da solução e respetiva implementação, alinhada aos requisitos e casos de uso definidos.
7) Avaliação da solução implementada, considerando abordagem e datasets/benchmarks de referência (ex.: testes de prompt injection da CyberSec Eval 4).
-
Type of Internship
BI - Bolsa de Investigação -
Amount
1040.98 € -
Renewable
Sim -
Payment method
Monthly -
Duration
6 meses -
Number of Internships
1 -
Recipients
Estudantes de mestrado, mestrado integrado, ou de outros cursos não conferentes de grau, que já tenham realizado os 180 créditos correspondentes aos primeiros 6 semestres curriculares de trabalho, na área de Engenharia Informática, Engenharia Física, Engenharia Electrotécnica e de Computadores, Física, ou áreas afins. -
Documentation to deliver
a) Cópia de documento de identificação válido (Cartão de Cidadão ou Passaporte);
b) Curriculum Vitae do candidato;
c) Certificados de habilitações de todos os graus académicos obtidos, com média final e com as classificações em todas as disciplinas realizadas;
d) Comprovativo de inscrição num ciclo de estudos conducente a grau académico ou comprovativo de inscrição em cursos não conferentes de grau académico integrados no projeto educativo de uma instituição de ensino superior. -
Announcement date
2025-09-04 -
Start date for applications
2025-09-19 -
Deadline for applications
2025-10-02
