3월 15일의 부정선거 개표 조작으로 낙선
이후 이승만이 허정에 의해 하와이로 떠날 때까지 그를 찾아가 문안인사를 드렸다. 제4·5대 의원이 되고, 1960년 3월 3·15 선거에 통일당(통일당 (1957년)) 부통령 후보(대한민국의 부통령)자에 출마하였으며, 대통령후보는 내지 않는 대신 대통령후보로는 이승만의 지지를 천명하였으나 3월 15일의 부정선거 개표 조작으로 낙선하였다. 5월 제5대 국회의원 총선거에 통일당 후보자로 민의원에 출마하여 당선되었다. 이후 그는 제2공화국(대한민국 제2공화국)이 출범하였으나 윤보선측이나 장면측 양측과 모두 일정 부분 거리를 두고 정국의 추이를 관망하였다. 5·16 군사정변이후 김준연은 80세의 고령에도 불구하고 7차에 걸쳐 군사정권세력을 향해 폭탄연설을 하여 군사정권을 붕괴 직전까지 몰아붙이기도 하였다. 1961년 5월 26일 그는 1961년 5월 26일자 미국 《타임》 지의 박정희 프로필을 인용하여 주장했다. "박정희 소장은 전에 공인된 공산주의자였다.
1960년 삼일오 선거에서 통일당 부통령 후보 김준연이 낙선한 이유는
김준연