Stenbocki maja peahoone vastas asub kõrvalhoone,  mis oli esialgselt mõeldud tõllakuurideks, talliruumideks, aidaks, kohtuteenijate ja vangivalvurite eluruumideks ning osaliselt ka vangikongideks. Kõrvalhoone on sümmeetriliselt poolkaarekujuline ainult siseõue poolt vaadates, selle tänavapoosed seinad järgivad krundi piire aga kõigis selle ebasümmeetrilisustes. Selline kõikidest külgedest piiratud ehitise rajamine on arusaadav, sest objekt pidigi kohtuhoonena asetsema oma vanglafunktsioonide täitmiseks eraldatult ja suletult.    Kõrvalhoone on  peahoonega ühendatud alles 1891. aastal teostatud ümberehitustööde käigus, mistõttu kaarhoone loob tänapäeval tiibhoonete illusiooni.