哲学者で法政大学総長の谷川徹三を父として、東京府東京市(現・東京都)杉並区に生まれ育つ。1948年から詩作および発表を始める。1950年には、父の知人であった三好達治の紹介によって『文学界』に「ネロ他五編」が掲載される。まもなく、詩作と並行して歌の作詞、脚本やエッセイの執筆、評論活動などを行うようになる。ら若手文化人らと「若い日本の会」を結成し、60年安保に反対した。1962年に「月火水木金土日のうた」で第4回日本レコード大賞作詞賞を受賞した。1964年からは映画製作に、1965年からは絵本の世界に進出した。映画においては、自ら“市川崑監督の弟子”と称して、もっぱら同監督の作品の脚本を手がけた。