Το 1914, με τις εξεγέρσεις στη Μαντζουρία αλλά και σε ολόκληρη την Κίνα, ο Χαρίλαος Καββαδίας έφερε την οικογένεια του πίσω στην Ελλάδα, στην Άσσο και στο Φισκάρδο της Κεφαλονιάς, κοντά στους παππούδες.