Erkläre den Unterschied zwischen Q-Learning und Deep Q-Learning
Q-Learning und Deep Q-Learning sind beides modellfreie Reinforcement-Learning-Algorithmen, die einen Zustand, eine Aktion und eine Belohnung aufnehmen, um einen Q-Wert zu berechnen, der verwendet wird, um die nächste Aktion zu bestimmen, die ergriffen werden sollte, um die Gesamtrückgabe einer Aktionsauswahlrichtlinie zu maximieren. Sie sind modellfrei, weil keiner der Algorithmen ein Modell enthält, das zukünftige Zustände anhand eines Markov-Entscheidungsprozesses vorhersagt.

Q-Learning verwendet eine Q-Tabelle, um die Q-Werte für jedes gegebene Zustands-Aktions-Paar zu speichern, was bei großen Zustands- oder Aktionsräumen kostspielig in Bezug auf den Speicherplatz wird, da alle möglichen Kombinationen beider gespeichert und am Ende einer Trainingsepisode aktualisiert werden müssen.

Deep Q-Learning versucht, diese Speicherbeschränkung zu lösen, indem es tiefe neuronale Netzwerke verwendet, um die Q-Werte stattdessen zu lernen. Dies bietet den Vorteil, effektiv größere Q-Tabellen lernen zu können, sich auf Zustände zu verallgemeinern, die während des Trainings nie gesehen wurden, und kontinuierliche Zustandsräume nutzen zu können.