Zakończenie Projektu PBL
„Zastosowanie uczenia maszynowego w poszukiwaniu optymalnej sekwencji ruchów podczas zamiatania pomieszczeń”
z uczniami III LO w Katowicach
W naszej Katedrze 30.09.2023 zakończony został projekt realizowany od 04.2023 z uczniami szkół ponadpodstawowych w ramach Programu Inicjatywa Doskonałości – Uczelnia Badawcza. Zespół projektowy stanowili uczniowie III Liceum Ogólnokształcącego im. A. Mickiewicza w Katowicach, obecnie uczniowie 4 klasy: Wojciech Siostrzonek i Filip Morawiec. Opiekunem projektu ze strony PŚ był dr hab. inż. Witold Beluch prof. PŚ.
Celem projektu było opracowanie metodologii optymalizacji sprzątania z wykorzystaniem algorytmów uczenia maszynowego dla przyjętych założeń. W ramach projektu przeanalizowano i przetestowano różne algorytmy oraz wybrano najlepiej nadający się do rozwiązania postawionego problemu. Przeprowadzono trening konwolucyjnej sieci neuronowej i uzyskano wstępne rezultaty.
Wstępne założenia projektu przedstawiono schematycznie na rys. 1:
Opracowano program komputerowy składający się z 2 modułów (Rys. 2):
- Środowiska, które m.in. na podstawie współrzędnych początkowych i końcowych ruchu miotłą stan następny oraz ilość brudu który wpadł do kopca.
- Agenta sprzątania, który uczy się optymalnie sprzątać działając w środowisku.
Przykład środowiska reprezentuje Rys. 3, na którym w kolorze fioletowym zaznaczono losowo umiejscowione kopce a w kolorze niebieskim ściany.
Zastosowano następujące metody realizacji projektu:
- implementacja w języku Python;
- użycie biblioteki maszynowego: Tensorflow/Keras;
- użycie biblioteki Matplotlib do wizualizacji działania algorytmów i symulacji pokoju.
Wypróbowana działanie następujących algorytmów uczenia sieci neuronowych: A2C, DQL i DDPG z których ten ostatni (Deep Deterministic Policy Gradient, rys. 4) okazał się być najskuteczniejszy.
Architektury sieci aktora i krytyka przedstawiono na rys. 5:
Np. aktor podejmując decyzję na podstawie obserwacji przyjmuje środowisko jako tensor o wymiarach 3x35x35 – są to 3 warstwy kwadratowego pokoju, z czego: pierwsza odpowiada za układ ścian, druga odpowiada za układ kopców, trzecia odpowiada za gęstość brudu.
Wizualizację treningu przedstawia Rys. 6:
W pliku konfiguracyjnym config.cfg są ustalone ważniejsze parametry symulacji, takie jak szerokość miotły, czy ilość kopców.
