Q-learning-based unmanned ground vehicle navigation in warehouse-like environments

Abstract

This dissertation investigates robot navigation in logistics environments, focusing on libraries and warehouses, using the Q-learning method. To this end, three studies are presented, each applying reinforcement learning to optimize task performance and navigation efficiency. The first study employs Q-learning to enhance book organization in the library of the Federal University of Viçosa, reducing planning time and movements by 20% compared to a greedy method while achieving a 100% success rate in task completion. Meanwhile, the second study proposes an offline Q- learning approach for unmanned ground vehicles in warehouses, outperforming traditional algorithms such as Dijkstra, A-star, and Breadth-First Search, with planning speeds up to seven times faster and a reduction in turns of up to 41%. Finally, the third study extends Q-learning to multi-agent navigation in libraries, integrating transfer learning and curriculum learning. As a result, simulations indicated a 94% success rate with nine agents, along with a 73.36% reduction in task steps compared to scenarios with only one agent. Thus, this dissertation highlights the significant potential of reinforcement learning, particularly Q-learning, to enhance robotic navigation efficiency, reduce operational complexity, and optimize logistics processes in dynamic and complex environments. Keywords: path Planning; reinforcement Learning; unmanned Ground VehiclesEsta dissertação investiga a navegação de robôs em ambientes logísticos, com foco em bibliotecas e armazéns, utilizando o método de Q-learning. Para isso, são apresentados três estudos que aplicam aprendizado por reforço visando otimizar o desempenho das tarefas e a eficiência na navegação. O primeiro utiliza Q-learning para aprimorar a organização de livros na biblioteca da Universidade Federal de Viçosa, reduzindo o tempo de planejamento e os movimentos em 20% em comparação a um método guloso, além de alcançar uma taxa de sucesso de 100% na conclusão das tarefas. Já o segundo estudo propõe uma abordagem offline de Q- learning para veículos terrestres não tripulados em armazéns, superando algoritmos tradicionais como Dijkstra, A-star e Busca em Largura, com velocidades de planejamento até sete vezes superiores e uma redução nas curvas de até 41%. Por fim, o terceiro estudo expande o Q-learning para a navegação multiagente em bibliotecas, integrando aprendizado por transferência e aprendizado curricular. Como resultado, as simulações indicaram uma taxa de sucesso de 94% com nove agentes, além de uma redução de 73,36% nas etapas das tarefas em relação a cenários com apenas um agente. Dessa forma, esta dissertação evidencia o potencial significativo do aprendizado por reforço, especialmente do Q-learning, para aumentar a eficiência da navegação robótica, reduzir a complexidade operacional e otimizar processos logísticos em ambientes dinâmicos e complexos. Palavras-chave: planejamento de caminho; aprendizado por reforço; robótica terrestre