内装には、東山魁夷が壁画、多田美波が照明など、美術家も参加している。予算は当初の90億円だったが、物価の高騰や人件費の値上がりもあって、最終的に建設費は130数億円に膨らんだ。当時、ジェット機が1台30億円である。1964年6月に吉村が設計の役職を辞任する新宮殿問題が起きる。これはジャーナリズムで騒がれたが、高尾は彼らがすぐ善玉悪玉を決めたがることに苦言を呈していた。辞任の理由は、宮内庁との意見の相違により、吉村が設計の責任をまっとうできないからである。天井の仕上げ、柱梁の外装、鉄骨の発注をめぐる意見の相違、そして長尺で幅広の木材を求めたが、経済的な理由から拒否されたことなどが原因とされた(「新宮殿問題を探る」『新建築』1965年9月号)。ゆえに、吉村は「宮内庁当局によって建築家としての芸術家的良心を無視された」という。高尾は、予算経理や現場監理について吉村が独裁的な立場を求めたのに対し、「国の建造物について、国民の歳出経理の責任上、この要求に同意することはできません」と述べる。