Uso de Machine Learning para identificação de solicitação de teste de confirmação em projeto de teste de software

Abstract

Um estudo recente publicado pela Cambridge Judge Business School descobriu que os desenvolvedores perdem 620 milhões de horas por ano depurando falhas de software, o que acaba custando às empresas aproximadamente US$ 61 bilhões por ano. Este processo de depuração se torna ainda mais complexo e custoso às organizações quando o desenvolvedor não possui acesso aos recursos necessários. Utilizando a biblioteca TPOT como ferramenta de Auto Machine Learning para encontrar a melhor pipeline de um modelo foram analisados comentários do Jira afim de identificar pedidos de reteste por parte de desenvolvedores para os testadores de uma empresa. Foi construído um modelo para criação da ferramenta chamada “Preste atenção ao reteste ou Pay attention to retest” - PATRE, que utiliza Aprendizado de Máquina (Machine Learning) para identificação automática de pedido de teste de confirmação, otimizando assim a rotina dos profissionais envolvidos no desenvolvimento do software. O classificador gerado após 5 gerações foi o GradientBoostingClassifier e obteve uma precisão de 0.562, e um recall de 0.529, enquanto o f1-score encontrado foi de cerca de 0.545. Enquanto que o classificador escolhido pelo TPOT após 20 gerações foi o StackingEstimator obteve os seguintes resultados: precisão de 0.48, recall de 0.735 e f1-score de 0.581. Mostrando a influência direta do número de gerações na qualidade do modelo e do classificador final. Nenhuma informação ou dado confidencial foi utilizado para a realização deste trabalho.