結果的にはこの協会も不正経理を巡る内紛で崩壊してしまうのだが、若き日の山田がいかに西洋音楽に親しみ、それを日本に普及させようと奔走していたかがわかる。戦時色が次第に色濃くなり、だんだんと音楽を巡る環境も自由のきかないものになっていく。画家や文学者、映画監督らも戦時中はさまざまな制約の下、戦意高揚に利するような作品作りを陰に陽に求められたが、音楽で言えば、ドイツ、イタリアを除く西洋音楽の演奏はダメ、日本の音楽でも男女のロマンスを謳うような叙情曲はけしからん、といった風潮だった。自ら軍服姿で行動し、音楽家たちを軍の慰問や生産工場の激励へ先導した。なんだ空襲」......。作り上げた軍歌、戦時歌謡曲は100余りに上るという。山根銀二から、東京新聞の紙面上で名指しで批判され、楽壇戦犯論争の槍玉にあげられたほどだ。山田がどんな思いで戦時に”協力”したかはわからない。その一端は他でもない山田自身が、同じ東京新聞の紙面に「反論」として載せている。山田は論争が収まった1948年、脳溢血で倒れ、以後は体が不自由になった。1965年、年の瀬も迫った12月29日、自宅で息を引き取る。