Ciências ULisboa lança o primeiro comparador de modelos de IA dedicado ao português europeu

A inteligência artificial generativa em português europeu acaba de dar um passo importante. Investigadores da Faculdade de Ciências da Universidade de Lisboa (Ciências ULisboa) colocaram em funcionamento o primeiro comparador de desempenho de modelos de IA generativa (LLM) especificamente dedicado à nossa variante linguística.

A nova ferramenta, designada Leaderboard de LLM para português, permite avaliar e comparar de forma transparente o desempenho de diferentes modelos de inteligência artificial, criando um ranking acessível ao público, às empresas e à comunidade científica.

Uma lacuna finalmente preenchida

Até agora, as principais plataformas deste género estavam centradas no inglês e noutras línguas com maior tradição de desenvolvimento tecnológico. Não existia, até este momento, uma ferramenta dedicada ao português europeu, o que colocava a nossa língua numa posição de desvantagem face ao panorama global da IA.

“Este leaderboard vem colmatar uma lacuna importante, permitindo avaliar de forma rigorosa e comparável o desempenho de modelos de IA para português europeu, algo que até agora não existia”, explica António Branco, professor e investigador da Ciências ULisboa e diretor geral da PORTULAN CLARIN.

Como funciona o leaderboard

O sistema opera através da submissão de modelos de IA por parte dos seus criadores. Cada modelo é avaliado de forma independente, recorrendo a testes automáticos com dados desenvolvidos especificamente para medir vários aspetos do desempenho, incluindo qualidade linguística, adequação cultural e civilidade nas respostas.

Os resultados são depois disponibilizados online, permitindo uma comparação direta entre sistemas. A ferramenta está preparada para avaliar modelos de IA abertos, ou seja, aqueles que disponibilizam acesso ao código do programa ou aos parâmetros utilizados para processar a informação. Qualquer LLM aberto pode ser submetido a avaliação, seja por iniciativa do próprio produtor ou de terceiros.

Vantagens para empresas e investigadores

Além de apoiar investigadores e programadores no desenvolvimento de novos modelos, a ferramenta revela-se particularmente útil para empresas e instituições que pretendam selecionar soluções de IA mais adequadas às suas necessidades. Em vez de testarem várias opções às cegas, podem agora consultar dados objetivos e comparáveis antes de tomarem decisões de adoção tecnológica.

A iniciativa foi desenvolvida no âmbito da PORTULAN CLARIN, Infraestrutura Nacional de Investigação para a Ciência e Tecnologia da Linguagem, coordenada pela Ciências ULisboa e integrada no Roteiro Estratégico de Infraestruturas de Investigação da FCT. A PORTULAN CLARIN é também o nó nacional da infraestrutura europeia CLARIN ERIC.

Acesso livre e reforço da língua portuguesa na IA

O serviço é de acesso livre e representa um passo significativo para reforçar a presença do português europeu no desenvolvimento global de inteligência artificial. Num cenário em que os grandes modelos linguísticos são maioritariamente treinados e otimizados para o inglês, esta iniciativa contribui para garantir que a nossa língua não fica para trás na revolução da IA generativa.

Siga o NetThings no Google News

Fique a par de todas as novidades tecnológicas em tempo real.

⭐ SEGUIR NO GOOGLE NEWS

Acompanhe-nos também em:

FACEBOOK INSTAGRAM X