Application of a combined RL and PID algorithm in a mask controller for apnea

Abstract

Este estudo investiga a integração do algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3) com o controle Proporcional-Integral-Derivativo (PID) para gerenciar sistemas não lineares, com foco no controle de Pressão Positiva Contínua nas Vias Aéreas (CPAP), buscando mostrar a viabilidade dessa integração. Um modelo matemático foi desenvolvido para representar a dinâmica do CPAP, e o algoritmo PIME-TD3 foi implementado e testado. Experimentos foram conduzidos nos ambientes Cascade Water Tank e CPAP, utilizando Optuna para otimizar hiperparâmetros. No ambiente Cascade Water Tank, o PIME-TD3 apresentou dificuldades em replicar os resultados da literatura, exigindo um ajuste exaustivo de hiperparâmetros e estrutura da rede. Já no ambiente CPAP, os resultados indicaram que as limitações da simulação impactaram o aprendizado, impedindo um controle eficaz da pressão. O estudo destaca a importância de modelos matemáticos realistas para treinar agentes de aprendizado por reforço e a necessidade de validação em hardware real para aplicação clínica. Além disso, sugere direções para pesquisas futuras, como a melhoria da modelagem do CPAP, experimentação com diferentes arquiteturas de rede e validação do controlador em dispositivos reais.