Erklären Sie den Unterschied zwischen Q-Learning und Deep Q-Learning
Q-Learning und Deep Q-Learning sind beide modellfreie Verstärkungs-Lernalgorithmen, die in einem Zustand, Aktion und Belohnung einen Q-Wert berechnen, der verwendet wird, um die nächste Aktion zu bestimmen, die ergriffen werden sollte, um die Gesamtrückgabe einer Aktionsauswahl-Politik zu maximieren. Sie sind modellfrei, weil weder ein Algorithmus ein Modell enthält, das zukünftige Zustände mit einem Markov-Entscheidungsprozess vorhersagt. Q-Learning verwendet eine Q-Tabelle, um die Q-Werte für jedes beliebige Zustand-Aktions-Paar zu speichern, das im Speicher kostspielig wird, wenn der Zustand oder Aktionsraum groß wird, weil es alle möglichen Kombinationen beider speichern und sie am Ende jeder Trainingsepisode aktualisieren muss. Deep Q-Learning versucht, diese Speicherbeschränkung zu lösen, indem Deep Neural Networks verwendet wird, um stattdessen die Q-Werte zu lernen. Dies bietet den Vorteil, effektiv größere Q-Tabellen zu lernen, die zu Staaten zusammengefasst werden, die während des Trainings nie gesehen wurden, und in der Lage zu sein, kontinuierliche Zustandsräume zu nutzen.