Mama ei a fost extrem de protectoare, iar Victoria a fost crescută în mare parte izolată de ceilalți copii în cadrul așa-numitului "Sistem Kensington", un set elaborat de reguli și protocoale concepute de ducesă și de controlorul ei ambițios și dominator, Sir John Conroy, despre care se zvonea că ar fi iubitul ducesei. Sistemul a împiedicat prințesei să întâlnească oameni pe care mama ei și Conroy i-au considerat nedoriti (inclusiv majoritatea familiei tatălui ei), și a fost conceput pentru a o face slabă și dependentă de ei.
Franceză, germană, italiană şi latină