He also seized several castles belonging to the Hoheneggs, such as the nearby cave castle of Loch near Pinswang; however, Vilsegg held this at least until 1408 as a fief of the Bishopric of Kempten.
Er bemächtigte sich auch einiger Burgen der Hohenegger, so etwa der nahen Höhlenburg Loch bei Pinswang, diese hielten Vilsegg jedoch noch bis 1408 als Lehen des Stiftes Kempten.