1976. a ilmus trükist E. Kiviste «Vaimulikud laulud», mis sisaldab 90 usutõdedele ja isamaa-armastusele pühendatud laulu. Ka selles osas jätkas Einar Kiviste isa rolli, kelle kirjutatud on nii mõnegi «Kiriku laulu- ja palveraamatu» laulutekst.  Ka on ta töötanud lauluraamatu komisjonis.