Explainable machine learning for effective alarm prediction

Abstract

This dissertation evaluates twelve machine learning models for the prediction of alarms using geographical clustering, leveraging data from an Italian company. The models encompass a spectrum of algorithms, including Naive Bayes (NB), XGBoost (XGB), and Multilayer Perceptron (MLP), coupled with encoding techniques such as Label/Ordinal Encoding (LOE) and Label/Ordinal/One-Hot Encoding (L2OE), and clustering method- ologies, namely Coopservice-2022 (COOP) and K-Means++ (KPP). XGB emerges as the most effective, yielding the highest AUC values across models. Adjustments in encoding methods show significant improvements for NB and MLP, with a marginal impact for XGB. Hyperparameter tuning for XGB models reveals default values outper- form varied configurations. The SHAP value analyses emphasize the significant impact of a specific cluster and hour of the day. Transfer learning experiments confirm the model’s adaptability across Italian provinces, with continuous monitoring essential due to sensitivity to cluster labels. Challenges arise in handling dataset imbalances, impacting minority alarm class predictions. This work sets a foundation for further research on specific approaches for dealing with imbalanced datasets and one-class algorithms. The study advocates for ongoing validation across diverse provinces, emphasizing nuanced analyses and improvements in model robustness. Keywords: Alarms; Machine learning; Clustering; Explainable models; Transfer learning.Esta dissertação avalia doze modelos de aprendizado de máquina para a previsão de alarmes utilizando agrupamento geográfico, por meio dados de uma empresa italiana. Os modelos abrangem uma variedade de algoritmos, incluindo Naive Bayes (NB), XGBoost (XGB) e Perceptron Multicamadas (MLP), combinados com técnicas de codificação como Label/Ordinal Encoding (LOE) e Label/Ordinal/One-Hot Encoding (L2OE), e metodologias de agrupamento, nomeadamente Coopservice-2022 (COOP) e K-Means++ (KPP). O XGB destaca-se como o mais eficaz, proporcionando os maiores valores de AUC entre os modelos. Ajustes nas técnicas de codificação demonstram melhorias significativas para NB e MLP, com um impacto marginal para o XGB. A otimização de hiperparâmetros para modelos XGB revela que os valores padrão superam configurações variadas. As análises de valores SHAP destacam a influência significativa de atributos como um cluster específico e hora do dia. Experimentos de transferência de aprendizado confirmam a adaptabilidade do modelo entre províncias italianas, ressaltando a necessidade de monitoramento contínuo devido à sensibilidade aos rótulos de cluster. Desafios surgem ao lidar com desequilíbrios nos conjuntos de dados, impactando as previsões da classe minoritária de alarmes. Este trabalho estabelece uma base para futuras pesquisas sobre abordagens específicas para lidar com conjuntos de dados desequilibrados e algoritmos de uma única classe. O estudo advoga pela validação contínua em diversas províncias, enfatizando análises detalhadas e melhorias na robustez do modelo. Palavras-chave: Alarmes; Aprendizado de máquina; Agrupamento; Explicabilidade de modelos; Transferência de aprendizado.