முரட்டாண்டியில் பிரஞ்சு அதிகாரிகளின் தொல்லைகள் அதிகமானதால் சுவாமிகள் அவ்விடம் விட்டு நகர்ந்து புதுவை பாலாஜி திரையரங்கு அருகில் உள்ள ஆனந்தரங்கபிள்ளையின் தோட்டத்திற்கு வந்து ஒரு பகுதியில் சிறு குடிசை அமைத்துக் கொண்டு தங்கினார்.