Reinforcement learning applied to robot navigation

Abstract

Path planning is a key aspect of autonomous navigation, especially for autonomous vehicles, where different priorities such as path length, safety, and energy consumption must be considered. Traditional approaches, including dynamic programming and geometric methods, have been widely used to tackle this problem. However, in recent years, artificial intelligence techniques, particularly reinforcement learning, have gained increasing attention. This thesis explores the application of reinforcement learning methods, such as Q-learning, combined with other machine learning techniques like transfer learning, to improve convergence speed and overall performance in various robotic navigation tasks. The research begins with the development of offline global path planning algorithms for both 2D and 3D environments, validated through simulations and real-world experiments. The approach is then adapted for dynamic scenarios, enabling real-time local path planning, ultimately leading to six published papers. The proposed global path planning algorithms can flexibly balance three key priorities while ensuring that the agent can reach its destination from any starting point in the map. This provides robustness against external and internal disturbances. The local path planning adaptation maintains these priorities while operating in real time. Additional contributions include applications in intelligent logistics, such as automated warehouse organization. A curriculum-based training approach was introduced, progressively increasing task difficulty to facilitate learning. This was validated through simulations, with the results currently being finalized in writing. Finally, the thesis discusses the impact of state representation using depth sensors in mapless navigation. It also examines how different hyperparameter settings and Q-table initializations affect the performance of the proposed global path planning algorithms. Keywords: Robotic Navigation; Reinforcement Learning; Transfer Learning; Path PlanningO planejamento de trajetória é um aspecto fundamental da navegação autônoma, especialmente para veículos autônomos, onde diferentes prioridades como comprimento do caminho, segurança e consumo de energia devem ser consideradas. Abordagens tradicionais, incluindo programação dinâmica e métodos geométricos, têm sido amplamente utilizadas para resolver este problema. No entanto, nos últimos anos, técnicas de inteligência artificial, particularmente o aprendizado por reforço, ganharam crescente atenção. Esta tese explora a aplicação de métodos de aprendizado por reforço, como o Q-learning, combinados com outras técnicas de aprendizado de máquina, como a aprendizagem por transferência, para melhorar a velocidade de convergência e o desempenho geral em várias tarefas de navegação robótica. A pesquisa começa com o desenvolvimento de algoritmos de planejamento de trajetória global offline para ambientes 2D e 3D, validados por meio de simulações e experimentos no mundo real. A abordagem é então adaptada para cenários dinâmicos, permitindo o planejamento de trajetória local em tempo real, o que resultou em seis artigos publicados. Os algoritmos de planejamento de trajetória global propostos podem equilibrar de forma flexível três prioridades principais, garantindo que o agente possa alcançar seu destino a partir de qualquer ponto de partida no mapa. Isso proporciona robustez contra perturbações externas e internas. A adaptação para o planejamento de trajetória local mantém essas prioridades enquanto opera em tempo real. Contribuições adicionais incluem aplicações em logística inteligente, como a organização automatizada de armazéns. Foi introduzida uma abordagem de treinamento baseada em currículo, aumentando progressivamente a dificuldade da tarefa para facilitar o aprendizado. Isso foi validado por meio de simulações, com os resultados atualmente sendo finalizados por escrito. Finalmente, a tese discute o impacto da representação de estado usando sensores de profundidade na navegação sem mapa. Também examina como diferentes configurações de hiperparâmetros e inicializações da tabela Q afetam o desempenho dos algoritmos de planejamento de trajetória global propostos. Palavras-chave: Navegação de Robôs; Aprendizado por Reforço; Aprendizado por Transferência; Planejamento de Caminho