IPN/LIS/2025/CON28
-
Reference
IPN/LIS/2025/CON28 -
Unit
Laboratório de Informática e Sistemas -
Scientific Area
Engenharia Electrotécnica e Informática -
Place of Performance
Instituto Pedro Nunes -
Documents
Modelo de contrato de bolsa
Modelo de relatório final
-
Support
-
Advisor
Marília Curado -
Advisor Institution
Departamento de Engenharia Informática da FCTUC -
Advisor category
Professor catedrático -
Goals
O objetivo principal da bolsa consiste em avaliar diferentes mecanismos de controlo ou segurança aplicáveis a LLMs (ex.: guardrails), comparando a sua eficácia face a diferentes riscos ou ameaças, em particular outputs danosos (ex.: geração de código malicioso/destrutivo). Nesse sentido, o trabalho contempla o estudo, experimentação e integração de diferentes mecanismos de segurança aplicáveis a LLMs, assim como comparação e seleção de metodologias e mecanismos de avaliação adequadas ao contexto do projeto.
Numa fase inicial, o bolseiro deverá adquirir conhecimentos sobre as ameaças associadas a LLMs e ao seu uso em contextos sensíveis, como a cibersegurança. De seguida, com base no conhecimento adquirido, deverá realizar uma investigação do estado da arte relativamente a mecanismos, metodologias e ferramentas de defesa, avaliando as suas capacidades e limitações. Com esta base, o aluno deverá formular, propor, e desenvolver mecanismo(s) de segurança adaptados ao contexto do projeto, procedendo à sua validação e avaliação através de testes estruturados representativos (ex.: simulações de ataques/ red teaming).
Desta forma, os objetivos específicos propostos para a bolsa são:
(i) Análise do estado da arte de metodologias, mecanismos e ferramentas para controlo e segurança no uso de LLMs, que inclui literatura académica recente, relatórios técnicos de organizações de cibersegurança (ex.: OWASP(8)(9), NIST), e estudo de casos sobre sucessos ou falhas na aplicação de mecanismos de segurança em LLMs.
(ii) Levantamento de requisitos e planeamento de mecanismo(s) que forneçam segurança relativamente aos dados de entrada e de saída dos modelos, no contexto de geração de código.
(iii) Implementação de diferentes mecanismos de segurança, incluindo guardrails, para filtrar conteúdos maliciosos e deteção de injeções por prompt, e a realização de testes em protótipo funcional (ex.: através de simulações de ataques numa lógica de red teaming).
(iv) Avaliação da solução com modelos e em ambientes realistas e documentação dos resultados. Comparação com resultados semelhantes do estado da arte e identificação de possibilidades de publicação científica.
(8)https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/
(9)https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/ -
Work Plan Area
Implementação e avaliação de mecanismos de controlo de segurança para LLMs -
Work Plan
Plano de trabalhos Plano de trabalhos:
1) Revisão da literatura da área de grandes modelos de linguagem (LLMs), riscos e ameaças em LLMs, mecanismos de segurança para LLMs, metodologias de avaliação, bem como atividades relevantes de normalização (ex.: ETSI SAI, NIST Trustworthy and Responsible AI) e da indústria (OWASP AI Exchange).
2) Estudo e familiarização com ferramentas open-source de referência, como Llama Guard, NVIDIA NeMo Guardrails, GuardrailsAI, Semgrep, PyRIT, garak, etc.
3) Estudo e definição de casos de uso e requisitos para a solução.
4) Especificação de alto-nível da solução.
5) Experimentação com ferramentas open-source selecionadas.
6) Especificação detalhada da solução e respetiva implementação, alinhada aos requisitos e casos de uso definidos.
7) Avaliação da solução implementada, considerando abordagem e datasets/benchmarks de referência (ex.: CyberSec Eval 4).
-
Type of Internship
BI - Bolsa de Investigação -
Amount
1040.98 € -
Renewable
Sim -
Payment method
Monthly -
Duration
6 meses -
Number of Internships
1 -
Recipients
Estudantes de mestrado, mestrado integrado, ou de outros cursos não conferentes de grau, que já tenham realizado os 180 créditos correspondentes aos primeiros 6 semestres curriculares de trabalho, na área de Engenharia Informática, Engenharia Física, Engenharia Electrotécnica e de Computadores, Física, ou áreas afins. -
Documentation to deliver
a) Cópia de documento de identificação válido (Cartão de Cidadão ou Passaporte);
b) Curriculum Vitae do candidato;
c) Certificados de habilitações de todos os graus académicos obtidos, com média final e com as classificações em todas as disciplinas realizadas;
d) Comprovativo de inscrição num ciclo de estudos conducente a grau académico ou comprovativo de inscrição em cursos não conferentes de grau académico integrados no projeto educativo de uma instituição de ensino superior. -
Announcement date
2025-09-04 -
Start date for applications
2025-09-19 -
Deadline for applications
2025-10-02
