Pada usia tiga tahun, Suharto dikembalikan kepada ibunya, yang telah menikah dengan seorang petani lokal yang dibantu Suharto di sawah padi. Pada tahun 1929, ayah Suharto membawanya untuk tinggal bersama kakaknya, yang menikah dengan seorang pengawas pertanian, Prawirowihardjo, di kota Wuryantoro di daerah pertanian miskin dan berbiaya rendah dekat Wonogiri. Selama dua tahun berikutnya, ia dibawa kembali ke ibunya di Kemus Darwijaya oleh ibunya dan kemudian kembali ke Wuryantoro oleh ayahnya, Kromodirjo.
Saat tinggal dengan Hardjowijono