Nadat hij naar Jakarta was verhuisd, begon Latuharhary ook voor de Japanners te werken onder het ministerie van Binnenlandse Zaken om de Molukken op Java te beheren en verantwoordelijkheid te nemen voor hun acties. In 1944 werd een groep Ambonese, waaronder Latuharhary, door de Kenpeitai gearresteerd en naar Bogor gebracht omdat ze werden verdacht van spionage voor de geallieerde troepen en vanwege het feit dat Latuharhary zijn positie binnen de Japanse administratie gedeeltelijk had gebruikt voor politieke doeleinden. Zijn vrouw en twee anderen slaagden er echter opnieuw in een Japanse marinecommandant ervan te overtuigen dat hij hun vrijlating moest regelen. Eind 1944 werd hij opnieuw gearresteerd nadat een Molukse gevangene uit een gevangenis was ontsnapt. De Japanse autoriteiten waren destijds bijzonder achterdochtig met Ambonese na de Slag bij Morotai.
en de strategische bombardementen van Ambon in 1944, verder aangewakkerd door geallieerde spionage operaties in de Molukken geleid door Ambonese Julius Tahija.