দীর্ঘ আঠারো বছর গ্রামবার্তা প্রকাশিকা সম্পাদনা করার পর সাংবাদিকতা পেশা পরিত্যাগপূর্বক ধর্ম সাধনায় মনোনিবেশ করেন তিনি। হরিনাথ মজুমদার আধ্যাত্মিক গুরু ও মহান সাধক ফকির লালনের গানের একান্ত অনুরাগী ছিলেন। ধর্মভাব প্রচারের জন্য ১৮৮০ সালে তিনি নিজস্ব একটি বাউল সঙ্গীতের দল প্রতিষ্ঠা করেন। দলটি "কাঙ্গাল ফকির চাঁদের দল" নামে পরিচিতি ছিল।

হরিনাথের স্বরচিত গানগুলোও আধ্যাত্মিকতায় ভরপুর ছিল। গান রচনায় তিনি অসম্ভব পারদর্শিতা ও পারঙ্গমতা প্রদর্শন করেন। স্বলিখিত গানে কাঙ্গাল ভণিতার ব্যবহার বিশেষভাবে লক্ষ্যণীয় ছিল। তাঁর রচিত বাউল সঙ্গীতগুলো ফকির চাঁদের বাউল সঙ্গীত নামে সুপ্রসিদ্ধ ছিল। ধর্ম সাধনার অঙ্গরূপে তিনি বহু সহজ-সুরের গান রচনা করে সদলবলে সেই গান গেয়ে বেড়াতেন। "হরি দিন তো গেল সন্ধ্যা হ'ল" গানটি তাঁর উল্লেখযোগ্য রচনা। গানটির প্রথম চার চরণ নিম্নরূপ :-

প্রভাব
বহিঃসংযোগ
মহাপ্রয়াণ
বাউল সঙ্গীত