== Finite state spaces? == 

 Koska P:tä ei käsitellä tiheytenä, oletan, että A on äärellinen joukko, mutta tätä ei mainita. Onko myös S äärellinen joukko? Huomaa, että osittain havainnoitavassa Markovin päätösprosessissa molempien joukkojen sanotaan olevan äärellisiä. Olisi hyödyllistä selventää tätä...