Práce se zabývá přístupem posilovaného učení pro navrhování trasy agentovi ve zjednodušeném scénáři pohybu v dopravní síti. V teoretické části jsou představeny základy umělé inteligence, posilovaného učení a vybrané metody posilovaného učení. Dále je stručně zmíněna základní teorie týkající se simulace dopravy. V praktické části práce je vytvořena konzolová aplikace využívající vybrané metody posilovaného učení. Metody jsou použity pro návrh trasy svozu odpadu ve vybrané čtvrti Českých Budějovic a porovnány s metodou řešící tuto úlohu pomocí rojové inteligence. Výsledky návrhů posilovaným učením jsou podobné výsledkům získaným rojovou inteligencí, přičemž celkově nejúspěšnější metodou je Proximal Policy Optimization s detekcí validity akcí. V jednom případu je nalezeno optimální řešení.
Anotace v angličtině
The thesis deals with reinforcement learning approach for designing a route for an agent in a simplified scenario of movement in a transportation network. The theoretical part introduces the basics of artificial intelligence, reinforcement learning, and selected methods of reinforcement learning, both classical and modern. Additionally, the basic theory related to traffic simulation is briefly mentioned. In the practical part of the thesis, a console application utilizing selected reinforcement learning methods is developed. The methods are used to design a waste collection route in a selected district in České Budějovice and compared to a method solving this task using swarm intelligence. The results of the reinforcement learning-designed routes are similar to the results obtained by swarm intelligence, with Proximal Policy Optimization with action masking being the most successful method overall. In one case, an optimal solution is found.
Klíčová slova
posilované učení, strojové učení, umělá inteligence, doprava, návrh trasy
Práce se zabývá přístupem posilovaného učení pro navrhování trasy agentovi ve zjednodušeném scénáři pohybu v dopravní síti. V teoretické části jsou představeny základy umělé inteligence, posilovaného učení a vybrané metody posilovaného učení. Dále je stručně zmíněna základní teorie týkající se simulace dopravy. V praktické části práce je vytvořena konzolová aplikace využívající vybrané metody posilovaného učení. Metody jsou použity pro návrh trasy svozu odpadu ve vybrané čtvrti Českých Budějovic a porovnány s metodou řešící tuto úlohu pomocí rojové inteligence. Výsledky návrhů posilovaným učením jsou podobné výsledkům získaným rojovou inteligencí, přičemž celkově nejúspěšnější metodou je Proximal Policy Optimization s detekcí validity akcí. V jednom případu je nalezeno optimální řešení.
Anotace v angličtině
The thesis deals with reinforcement learning approach for designing a route for an agent in a simplified scenario of movement in a transportation network. The theoretical part introduces the basics of artificial intelligence, reinforcement learning, and selected methods of reinforcement learning, both classical and modern. Additionally, the basic theory related to traffic simulation is briefly mentioned. In the practical part of the thesis, a console application utilizing selected reinforcement learning methods is developed. The methods are used to design a waste collection route in a selected district in České Budějovice and compared to a method solving this task using swarm intelligence. The results of the reinforcement learning-designed routes are similar to the results obtained by swarm intelligence, with Proximal Policy Optimization with action masking being the most successful method overall. In one case, an optimal solution is found.
Klíčová slova
posilované učení, strojové učení, umělá inteligence, doprava, návrh trasy
Při cestách (např. dojíždění do města) je cílem každého řidiče dosáhnout přiměřené doby jízdy ze svého výchozího bodu do cíle. Z globálního hlediska je žádoucí, aby byla dopravní zátěž rozložena úměrně kapacitě silnic v dopravní síti.
Cílem práce bude využít přístup posilovaného učení pro návrh volbu trasy, který by se opíral pouze o zkušenosti řidičů. Půjde tedy o příklad využití konceptu nezávislých učících se agentů.
Metodický postup:
Studium odborné literatury.
Úvod do problematiky reinforcement learning a obecný popis řešení.
Teoretický popis možného řešení a jednotlivých komponent.
Popis implementace řešení.
Zhodnocení a možnosti alternativ.
Zásady pro vypracování
Při cestách (např. dojíždění do města) je cílem každého řidiče dosáhnout přiměřené doby jízdy ze svého výchozího bodu do cíle. Z globálního hlediska je žádoucí, aby byla dopravní zátěž rozložena úměrně kapacitě silnic v dopravní síti.
Cílem práce bude využít přístup posilovaného učení pro návrh volbu trasy, který by se opíral pouze o zkušenosti řidičů. Půjde tedy o příklad využití konceptu nezávislých učících se agentů.
Metodický postup:
Studium odborné literatury.
Úvod do problematiky reinforcement learning a obecný popis řešení.
Teoretický popis možného řešení a jednotlivých komponent.
Popis implementace řešení.
Zhodnocení a možnosti alternativ.
Seznam doporučené literatury
PRETORIUS, A., & at al. Mava: a research framework for distributed multi-agent reinforcement learning. [online]. [cit. 2021-11-01]. Dostupné z:
TAVARES, A. R., & BAZZAN, A.L.C. (2012). Reinforcement learning for route choice in an abstract traffic scenario. In VI Workshop-Escola de Sistemas de Agentes, seus Ambientes e aplicaçoes (WESAAC). s. 141-153.
WINDER, P. (2020). Reinforcement Learning: Industrial Applications of Intelligent Agents. Newton, MA: O'Reilly Media.
Seznam doporučené literatury
PRETORIUS, A., & at al. Mava: a research framework for distributed multi-agent reinforcement learning. [online]. [cit. 2021-11-01]. Dostupné z:
TAVARES, A. R., & BAZZAN, A.L.C. (2012). Reinforcement learning for route choice in an abstract traffic scenario. In VI Workshop-Escola de Sistemas de Agentes, seus Ambientes e aplicaçoes (WESAAC). s. 141-153.
WINDER, P. (2020). Reinforcement Learning: Industrial Applications of Intelligent Agents. Newton, MA: O'Reilly Media.