Năm 1910, Roosevelt tranh cử vào Thượng viện tiểu bang New York, đại diện cho một khu vực thuộc Quận Dutchess. Đây là một khu vực bao quanh thị trấn Hyde Park mà từ năm 1884 chưa có một ứng viên đảng Dân chủ nào đắc cử ở đây. Tham gia cuộc đua, Roosevelt là hình ảnh gắn kết với sự giàu có, đặc quyền và ảnh hưởng tại Hudson Valley. Chiến thắng vang dội của đảng Dân chủ năm ấy đã đưa Roosevelt đến thủ phủ tiểu bang là Albany. Roosevelt nhậm chức ngày 1 tháng 1 năm 1911 và trở thành thủ lĩnh nhóm "phản loạn" chống đối bộ máy chính trị "Tammany Hall" (nhóm chính trị thuộc đảng Dân chủ luôn đóng vai trò chính kiểm soát chính trường thành phố New York) là nhóm đang chi phối đảng Dân chủ của tiểu bang. Cuộc bầu cử Thượng viện Hoa Kỳ được bắt đầu với việc bầu cử sơ bộ của đảng Dân chủ vào ngày 16 tháng 1 năm 1911 có kết quả bế tắc vì sự tranh giành của hai phe phái trong 74 ngày. Ngày 31 tháng 3, James A. O'Gorman được bầu và Roosevelt đạt được mục tiêu của mình: đó là chọc giận bộ máy chính trị Tammany Hall bằng cách ngăn chặn người mà nhóm này chọn lựa làm ứng cử viên là William F. Sheehan. Chẳng bao lâu sau đó, Roosevelt trở nên một khuôn mặt quen thuộc đối với các đảng viên Dân chủ New York. Ông tái đắc cử nhiệm kỳ hai trong cuộc bầu cử tiểu bang năm 1912 nhưng từ chức thượng nghị sĩ tiểu bang vào ngày 17 tháng 3 năm 1913 để nhận bổ nhiệm làm Trợ tá Bộ trưởng Hải quân Hoa Kỳ.