Os xardíns da Torre Victoria están abertos como un parque público ao longo da beira do río ao sur do palacio. O xardín da Vara Negra (denominado así pola oficina do señor Usher da Vara Negra) está pechado ao público e úsase como unha entrada privada. O antigo xardín do palacio, na fronte do palacio, está pavimentado e cuberto con bloques de seguridade de concreto (ver seguridade a continuación). Cromwell Green (tamén na fachada e en 2006 pechado por cartazes para a construción dun novo centro de visitantes), New Palace Yard (no lado norte) e Speaker's Green (directamente ao norte do palacio) son privados e pechados ao público.
College Green