IPN/LIS/2025/CON35
-
Reference
IPN/LIS/2025/CON35 -
Unit
Laboratório de Informática e Sistemas -
Scientific Area
Engenharia Electrotécnica e Informática -
Place of Performance
Instituto Pedro Nunes -
Documents
Modelo de contrato de bolsa
Modelo de relatório final
-
Support
-
Advisor
Marília Curado -
Advisor Institution
Departamento de Engenharia Informática da FCTUC -
Advisor category
Professor catedrático -
Goals
Desenvolver, avaliar e integrar:
1. Um sub-módulo de classificação de espécies e pragas em macieira, pereira e videira, treinado com:
a. Dados internos do projeto TOSCAN , recolhidos ao longo de anos por um dos membros do consórcio no exercer da sua atividade, que incluem dados estruturados sobre relações entre espécies, pragas e tratamentos (entre outros);
b. Conjuntos de dados públicos: PlantDoc, Plant Pathology 2020 & 2021, Indigenous Apple Leaf Disease, DiaMOS Plant e Niphad Grape Leaf Disease.
2. Protótipos de adaptação linguística regional que permitam:
a. Reconhecer termos locais na transcrição de voz (speech-to-text);
b. Ajustar a resposta escrita/falada ao vocabulário regional do utilizador.
O projeto tem já implementada uma aplicação Web que tem vindo a divulgar gradualmente, e ainda por convite, com o intuito de recolher dados de voz em língua portuguesa, em contexto de agricultura, no sentido de complementar os conjuntos de dados públicos existentes, que permitiram a validação das soluções desenvolvidas e, eventualmente, a melhoria de modelos existentes.
Esta bolsa, tem também como objetivo a criação de ferramentas que permitam validar e avaliar os módulos desenvolvidos, assim como a integração destes na já existente aplicação web de teste, edição e validação do sistema de conversação. Este, permite facilmente manipular e experimentar com um sistema que inclui RAG, Ferramentas e Prompt Engineering, e simular conversas com utilizadores reais.
-
Work Plan Area
Integração Multimodal e Adaptação Linguística para o Consultor Inteligente TOSCAN -
Work Plan
Plano de trabalhos:
1) Análise do estado da arte
Levantamento de modelos de visão computacional aplicados a fitopatologia e de técnicas modernas de adaptação linguística para LLM/STT em português europeu.
2) Levantamento de requisitos e design de arquitetura
Colaboração no levantamento de requisitos e design de arquitetura do sistema.
Definição de métricas e seleção de ferramentas (frameworks de treino, bases de dados vetoriais, APIs).
3) Protótipo
Curadoria dos datasets públicos e dos dados recolhidos pelo consórcio.
Treino inicial de um classificador de imagens (ex.: EfficientNet ou ConvNeXt) e criação de um léxico de regionalismos agrícolas para testes de STT/LLM.
4) Implementação
Fine-tuning do classificador com técnicas de data-augmentation específicas para sintomas foliares.
Experimentação de abordagens de adaptação linguística: substituição automática de termos vs. prompt engineering para LLM.
Validação e avaliação das soluções desenvolvidas para a adaptação linguística, através de dados curados recolhidos durante o projeto.
Integração dos módulos na pipeline multimodal TOSCAN (API function calling).
5) Testes
Avaliação cruzada com agricultores-piloto e engenheiros agrónomos do parceiro AGRIS.
Optimização de modelos, tempo de inferência (< 500 ms) e consumo de memória.
6) Deploy
Documentação técnica e apoio à preparação do piloto de campo.
-
Type of Internship
BI - Bolsa de Investigação -
Amount
1040.98 € -
Renewable
Sim -
Payment method
Monthly -
Duration
6 meses -
Number of Internships
2 -
Recipients
Estudantes de mestrado, mestrado integrado, ou de outros cursos não conferentes de grau, que já tenham realizado os 180 créditos correspondentes aos primeiros 6 semestres curriculares de trabalho, na área de Engenharia Informática, Engenharia Física, Engenharia Electrotécnica e de Computadores, Física, ou áreas afins. -
Documentation to deliver
a) Cópia de documento de identificação válido (Cartão de Cidadão ou Passaporte);
b) Curriculum Vitae do candidato;
c) Certificados de habilitações de todos os graus académicos obtidos, com média final e com as classificações em todas as disciplinas realizadas;
d) Comprovativo de inscrição num ciclo de estudos conducente a grau académico ou comprovativo de inscrição em cursos não conferentes de grau académico integrados no projeto educativo de uma instituição de ensino superior. -
Announcement date
2025-09-04 -
Start date for applications
2025-09-19 -
Deadline for applications
2025-10-02
