Trong thời kỳ đầu, cơ quan quản lý ngành Công an là Nha Công an vụ, trực thuộc Bộ Nội vụ. Đến ngày 16 tháng 2 năm 1953, thành lập thành Thứ bộ Công an, trực thuộc Bộ Nội vụ, đứng đầu là một Thứ trưởng. Đến năm 1955, thì tách hẳn thành Bộ Công an. Năm 1959, sáp nhập các lực lượng biên phòng thành lực lượng Công an vũ trang (nay là lực lượng Biên phòng) trực thuộc quyền quản lý của Bộ Công an (về sau lại chuyển về trực thuộc Bộ Quốc phòng). Cũng từ năm này, lực lượng Công an được tổ chức vũ trang và bán vũ trang theo biên chế, có phù hiệu và cấp hàm tương tự như quân đội.