Po přestěhování do Jakarty začal Latuharhary také pracovat pro Japonce v rámci ministerstva vnitra, aby spravoval Moluky na Javě a nesl odpovědnost za jejich činy. V roce 1944 byla skupina Ambonezů, včetně Latuharharyho, zatčena Kenpeitai a přivedená do Bogoru, protože byli podezřelí ze špionáže pro spojenecké síly a kvůli tomu, že Latuharhary částečně využil svou pozici v japonské správě pro politické účely. Nicméně jeho manželce a dvěma jiným se opět podařilo přesvědčit japonského velitele námořnictva, aby zařídil jejich propuštění. Koncem roku 1944 byl znovu zatčen poté, co z vězení uprchl jeden molukský vězeň. Japonské úřady v té době byly obzvláště podezřelé z Ambonese po bitvě u Morotai.
a strategické bombardování Ambonu v roce 1944, dále podněcované spojeneckými špionážními operacemi na Molukách vedených Ambonským Juliem Tahijou.