Utilização ao de IA generativa para a geração e validação ao de questões com base na teoria da resposta ao item

Abstract

Este trabalho teve como objetivo investigar a utilização da IA generativa na geração de exercícios educacionais e na simulação de respostas de estudantes, com o intuito de aplicar a Teoria de Resposta ao Item (TRI) aos resultados da simulação e verificar se os exercícios gerados correspondem ao nível de dificuldade solicitado, calibrando o simulador. Para isso, foi desenvolvida uma arquitetura de serviços web em FastAPI que orquestra chamadas a Grandes Modelos de Linguagem (LLMs) por meio de templates de prompts contextualizados, permitindo a criação de questões objetivas e dissertativas no estilo ENEM, além da simulação de respostas de mil estudantes fictícios cujas habilidades foram amostradas a partir de uma distribuição gaussiana. A reestimação dos parâmetros a, b e c do modelo logístico de três parâmetros (ML-3P) via bootstrap foi avaliada quantitativamente por meio de métricas de erro. Qualitativamente, as questões produzidas seguiram o padrão ENEM e atenderam às regras predefinidas. No teste quantitativo de seis questões com o prompt A para determinar sua dificuldade, obteve-se 50 % de acerto. Nas classificações incorretas, as estimativas permaneceram coerentes com a faixa correta, com valores próximos aos seus limites. Por fim, a simulação de respostas forneceu subsídios quantitativos valiosos para aprimorar os prompts e a aplicação dos modelos, aproximando mais os resultados dos dados reais.