Parameteroptimierung eines RL Algorithmus
Verfasst: Sonntag 8. September 2019, 16:09
Hallo zusammen,
ich bin aktuell dabei verschiedene model-free RL Algos zu implementieren und zu testen. Diese laufen auf meinem Robotor bzw. während des Trainings in meiner Simulation in Gazebo. Das Ziel ist es, dass der Roboter möglichst schnell von A nach B navigiert ohne mit einem Objekt zu kollidieren. Soweit hat dies auch schon gut funktioniert und ich habe ein paar Erfolge verbuchen können. Nun wollte ich aber nicht weiter nach der Grid bzw. Random Methode fortfahren um die Parameter zu optimieren sondern suche aktuell nach geeigneten Alternativen.
Hierbei bin ich auch auf Bayes gestoßen, dessen Methode in letzter Zeit sehr viel genutzt wurde um die Parameter im RL zu optimieren.
Meine Frage ist nun, ob auch ein modell-free RL Algo nach dieser Methode optimiert werden kann. In meinem Fall habe ich kein Model der Umgebung, da sich der Roboter ständig selber lokalisieren soll und ohne jegliches Wissen zur Umgebung navigiert (außer den Lidar Sensor).
Ich weiß also immer erst nach einer Episode, die eine Weile dauert (wegen der verschiedenen Update Rates des Scans usw., um die Simulation halbwegs realistisch zu halten), ob ein bestimmter Versuch erfolgreich war oder nicht.
BG und noch ein schönes Rest Wochenende
ich bin aktuell dabei verschiedene model-free RL Algos zu implementieren und zu testen. Diese laufen auf meinem Robotor bzw. während des Trainings in meiner Simulation in Gazebo. Das Ziel ist es, dass der Roboter möglichst schnell von A nach B navigiert ohne mit einem Objekt zu kollidieren. Soweit hat dies auch schon gut funktioniert und ich habe ein paar Erfolge verbuchen können. Nun wollte ich aber nicht weiter nach der Grid bzw. Random Methode fortfahren um die Parameter zu optimieren sondern suche aktuell nach geeigneten Alternativen.
Hierbei bin ich auch auf Bayes gestoßen, dessen Methode in letzter Zeit sehr viel genutzt wurde um die Parameter im RL zu optimieren.
Meine Frage ist nun, ob auch ein modell-free RL Algo nach dieser Methode optimiert werden kann. In meinem Fall habe ich kein Model der Umgebung, da sich der Roboter ständig selber lokalisieren soll und ohne jegliches Wissen zur Umgebung navigiert (außer den Lidar Sensor).
Ich weiß also immer erst nach einer Episode, die eine Weile dauert (wegen der verschiedenen Update Rates des Scans usw., um die Simulation halbwegs realistisch zu halten), ob ein bestimmter Versuch erfolgreich war oder nicht.
BG und noch ein schönes Rest Wochenende