この区画が西郷家の邸宅であったことは、地域の人々にはよく知られていたため、西郷山と呼ばれ親しまれていた通称が、そのまま公園の名となった。抱え屋敷だったこともよく知られている。その屋敷内の庭園に、いつの頃からか奇妙な作り物がしつらえてあったことは、ほとんど知られていない。この作り物は、途中数カ所に隣の通路と連動する扉が仕掛けられた、迷路状の板塀であった。形式的にはよく見られる庭園迷路と似ている。実際に機能としても、そうしたものだったようだ。来園者が扉を開けて迷路内を進むと、隣に連動した扉が他の来園者の進行に影響を与えてしまう。同時に入場する来園者が多ければ多いほど、即時的に変動を続ける迷路だった。ヨーロッパでは古くから修道院や宮殿の庭園に迷路が作られ、現在も多くが残っている。日本では1869(明治9年)、植木屋の川本友吉によって横浜市内に造られた庭園迷路が最初とされている。代官山地域は江戸以前は山林だったせいか、資料があまり残っておらず不明なことが多い。上州から越後に存在した門扉カラクリとの共通点を指摘することもできるが、その関係をを証明するだけの十分な資料は見つかっていない。最初の庭園迷路だったかもしれないこの迷路が、なぜ、誰の手によって作られたのかは、よく分からないままとなっている。したら、庭園に出入りしている名もない庭師の、いたずら心による思い付きだったのかもしれない。隣の道に連動した扉の開閉パターンは、2通りある。片方の動きに追随するか反転するかは、固定扉の位置によって変わる。自動的に閉まる落とし鍵がそれぞれ一面にあり、鍵が付いている側からしか開けることができない。<時間の経過による、正解経路の変化>一人で入場する場合は自分の動きに伴って道筋が変化する。入場者数が増えるに従って他者の動きに影響を受けるようになり、頻繁に経路が変化する。正解経路が即時的に変化してしまうため通常の迷路の解法である、右手法、トレモー・アルゴリズム、オーアのアルゴリズムなどが適用できない場面が発生する。