Para compreender as capacidades de IA através destas capacidades cognitivas, propomos um protocolo de avaliação em três fases que avalia o desempenho do sistema em relação às capacidades humanas:
- Avalie sistemas de IA em um amplo conjunto de tarefas cognitivas que abrangem cada habilidade, usando conjuntos de testes realizados para evitar a contaminação de dados
- Coletar linhas de base humanas para as mesmas tarefas a partir de uma amostra demograficamente representativa de adultos
- Mapeie o desempenho de cada sistema de IA em relação à distribuição do desempenho humano em cada habilidade
Da teoria à prática
Definir estas capacidades cognitivas é um primeiro passo crucial, mas precisamos de mais do que um quadro para medir o progresso. Para colocar esta teoria em prática, estamos lançando um novo hackathon Kaggle – “Medindo o progresso em direção a AGI: habilidades cognitivas”. O hackathon incentiva a comunidade a elaborar avaliações para cinco habilidades cognitivas onde a lacuna de avaliação é maior: aprendizagem, metacognição, atenção, funções executivas e cognição social.
Os participantes podem usar a plataforma Community Benchmarks recém-lançada da Kaggle para construir e testar suas avaliações em relação a uma linha de modelos de fronteira.
Estamos oferecendo um prêmio total de US$ 200.000: prêmios de US$ 10.000 para as duas melhores inscrições em cada uma das cinco faixas e US$ 25.000 em grandes prêmios para as quatro melhores inscrições gerais. As inscrições estão abertas de 17 de março a 16 de abril, e anunciaremos os resultados em 1º de junho. Acesse o site do Kaggle para começar a construir.
Fonte: theverge
