サラリーマン喜劇から社会派ドラマまで幅広く活躍し、その生涯に於いて253本の映画に出演した。父親が警察官という家庭に生まれる。桂樹の名はオリンピックの勝利のシンボル月桂冠のもととなる月桂樹にちなんで命名したという。卒業、宇都宮の陸軍幼年学校を受けるが不合格となり県立前橋中学校に進学。芝居や映画は元々好きであったが、在学中は友人からよく映画などに誘われてもきちんと校則を守り、一度も映画館に足を運ばなかったというまじめ人間だった。中学4年の時に父親が病死したため、千葉県市川市に住んでいた伯父を頼って一家が引っ越し、桂樹のみ父親の同僚の家に下宿して通学する。(現在の日本大学芸術学部)に進むも学費が払えぬようになり、1941年に中退する。