Remoção de nuvens e reconstrução de imagens de satélite usando deep learning

Abstract

O sensoriamento remoto tem se demonstrado uma importante ferramenta para aplicações fundamentais, como preservação ambiental, monitoramento e prevenção de desastres naturais, planejamento urbano e agricultura de precisão. Os satélites são fontes de aquisição de dados preponderantes para realização do sensoriamento remoto, em virtude da sua capacidade de oferecer imageamento em várias bandas espectrais e em alta qualidade. Entretanto, as imagens de satélite podem ser sensíveis a presença de artefatos, tais como nuvens, sombras e neve, que interferem nas aplicações mencionadas. Diante disso, este trabalho apresenta quatro principais contribuições. (i) Uma revisão sistemática da literatura, com estabelecimento de uma taxonomia, desafios, perspectivas e tendências para pesquisas relacionadas a tarefa de remoção de nuvens. (ii) Apresenta-se uma nova abordagem de difusão latente com a combinação de canal de atenção e bloco residual para remoção de nuvens, a qual possui entre 48% a 82% menos parâmetros que o estado da arte para a tarefa e preserva a qualidade da reconstrução em termos quantitativos e qualitativos. Além disso, (iii) investigou-se também como a interação entre otimizadores e funções de perda influenciam o processo de aprendizagem para reconstrução de áreas nubladas através de modelo de difusão latente. Por fim, (iv) apresenta-se também um estudo abrangente sobre o comportamento e impacto de diferentes arquiteturas e modelos de segmentação para um cenário de imagens de satélite com nuvens. Palavras-chave: Imagens de Satélite. Modelos de Difusão. Deep Learning. Remoção de Nuvens.Remote sensing has proven to be an essential tool for fundamental applications such as environmental preservation, monitoring and prevention of natural disasters, urban plan- ning, and precision agriculture. Satellites are preponderant data acquisition sources for remote sensing due to their ability to offer high-quality images in several spectral bands. However, satellite images can be sensitive to artifacts, such as clouds, shadows, and snow, which interfere with the mentioned applications. Therefore, this work presents four main contributions. (i) A systematic literature review, establishing a taxonomy, challenges, perspectives, and trends for research related to cloud removal. (ii) This work presents a new latent diffusion approach with residual blocks and combined attention channels for cloud removal, reducing the number of parameters by 48% to 82% compared to the state- of-the-art while preserving reconstruction quality in quantitative and qualitative terms. In addition, (iii) investigated how the interaction between optimizers and loss functions influences the learning process for reconstructing cloudy areas through a latent diffusion model. Finally, (iv) this work presents a comprehensive study of the behavior and impact of different architectures and segmentation models for a satellite imagery scenario with clouds. Keywords: Satellite Images. Diffusion Models. Deep Learning. Cloud Removal.