Op 27 augustus 1965 werd Harrison benoemd tot ambassadeur in de Sovjet-Unie. In 1968 had hij een korte affaire met een Russische kamermeisje die werkte bij de Britse ambassade. Harrison herinnerde zich dat hij niet vroeg of wist of ze voor de KGB werkte, maar hij zei dat er werd aangenomen dat elke Sovjet-medewerker bij de ambassade werkte of een agent was voor de Sovjet-geheime dienst. Toen er bezorgdheid over de veiligheid ontstond door de Sovjet-bezetting van Tsjechoslowakije
Harrison informeerde het ministerie van Buitenlandse Zaken van zijn indiscretie, die onmiddellijk zijn aanstelling beëindigde en hem terug riep naar Groot-Brittannië. Harrison onthulde de affaire aan de krant "The Sunday Times" in 1981.