Uma equipa do Departamento de Informática | NOVA LINCS da Faculdade Ciências e Tecnologia da Universidade NOVA de Lisboa | NOVA FCT, criou um agente conversacional inteligente onde desenvolveu modelos de IA generativa com capacidade para dialogar sobre conteúdos de vídeo e ensinar utilizadores a realizar tarefas manuais.
É a segunda edição da competição internacional Alexa Prize TaskBot Challenge que procura soluções de IA conversacional de última geração. Em 2023, a equipa portuguesa vence o primeiro prémio de 500 mil dólares e em 2022 ficou com o segundo prémio.
A Amazon acaba de anunciar os resultados do desafio Alexa Prize TaskBot Challenge 2, com a equipa do Departamento de Informática | NOVA LINCS, da Faculdade Ciências e Tecnologia da Universidade NOVA de Lisboa | NOVA FCT, a alcançar o primeiro lugar. É a segunda edição da competição internacional que procura desenvolver soluções de IA conversacional de última geração.
O Alexa Prize TaskBot Challenge 2 é uma competição universitária que pede aos estudantes de todo o mundo que resolvam um dos problemas mais difíceis da IA conversacional: criar experiências de IA conversacional que respondam às necessidades dos utilizadores em constante mudança, enquanto concluem tarefas complexas. A expetativa é que o TaskBot, agente de conversação da Alexa, tenha uma comunicação eficaz e seja capaz de guiar o utilizador na execução de tarefas manuais, desde cozinhar a fazer origamis.
O TaskBot é o primeiro desafio de IA conversacional a incorporar experiências multimodais. Este ano, as equipas concorrentes foram desafiadas a encontrar soluções que incorporassem mais recursos visuais em cada conversa. A equipa portuguesa, com o nome de guerra “TWIZ”, orientada pelos professores João Magalhães e David Semedo e liderada pelo aluno Rafael Ferreira, desenvolveu uma solução multimodal avançada e intuitiva: as técnicas de processamento de modelos de linguagem conseguem ensinar os utilizadores, através do diálogo, a realizarem tarefas manuais e a responder perguntas sobre o conteúdo de vídeos. Por exemplo, o agente pode ensinar um utilizador a completar uma tarefa manual complexa, tais como cozinhar, pintar, arranjar objetos, etc., e ainda dialogar em detalhe sobre as instruções com suporte de vídeo.
“Os diálogos do utilizador no Alexa TaskBot são únicos e lançam uma nova luz sobre a execução de tarefas manuais”, comentou Rafael Ferreira, líder da equipa da NOVA FCT. “Aproveitamos estes diálogos e aprendemos que o uso da nossa solução permitiu-nos orientar as conversas de uma forma mais contextual e perspicaz.”
Na final da competição, cinco equipas universitárias foram selecionadas com base no feedback dos clientes e no mérito científico dos artigos técnicos produzidos, entre outros critérios, sendo que estes finalistas participaram na última fase de interações ao vivo do TaskBot Challenge 2. Os clientes do Alexa interagiram com os taskbots das universidades com a frase “Alexa, vamos trabalhar juntos” (Alexa, let’s work together) nos dispositivos Amazon Echo ou Fire TV. As avaliações e o feedback dos clientes ajudaram as equipas universitárias a melhorarem os seus bots à medida que a competição ia decorrendo.
A equipa da NOVA FCT vencedora é composta por: Rafael Ferreira, Diogo Tavares, Diogo Silva, Rodrigo Valério, Inês Simões, Vasco Ramos, e João Bordalo. No ano passado, a equipa da NOVA FCT participou na primeira edição do concurso da Amazon e ficou em segundo lugar.
Mais informações:
Post A Comment:
0 comments: