逓信官僚として1923年高等試験行政科に合格する。官選知事登用は、異例のことであった。「開拓三大計画」に着手した。この他1948年には「県産業復興5ヶ年計画」を策定し、また天竜川の複合用水利用計画を立案するなど、静岡県の経済発展の基礎固めを精力的に進めていった。1951年に再選を狙うも、県政界の派閥抗争に敗れ出馬を断念。1953年、静岡県選挙区より参議院議員に当選する。後は池田・佐藤両首相と懇意であったことに加え、参議院自民党のドン・重宗雄三とのリレーションも良好だったため、たびたび閣僚として登用された。1963年第2次池田内閣第3次改造内閣で厚生大臣として初入閣。これらの強権は『小林郵政』と呼ばれ今でも語り草となっている。問題発言1970年、第3次佐藤内閣で法務大臣となる。申し立てるなどタカ派ぶりを発揮したが、翌1971年1月の静岡県知事選の応援演説で「野党がギャアギャア騒いでも、予算に指一本触れることはできない」「閣僚として、予算委員会に毎日出なければならないのは退屈この上ない」などと放言したことが発覚し、翌2月に引責辞任した。同年の参議院選挙にも落選し、政界を引退する。1988年10月12日死去。死刑執行の判を押している。女性初および2例目の死刑執行の判を押したのも小林である(被執行囚は小林カウ、次いで杉村サダメ)。学長に就任した経歴もある。