Vào thế kỷ IV, Nhật Bản đã lấy tên nước là Yamato, còn người Hán từ trước Công Nguyên đã gọi nước Nhật là Oa quốc (倭国, Oa quốc? nước lùn), người Nhật là Oa nhân (倭人, người lùn?), gọi cướp biển người Nhật trên Biển Hoa Đông thời nhà Minh là Oa khấu (倭寇, giặc lùn?). Trong Hán-Việt, chữ "oa" (倭, "oa"?) vẫn thường bị đọc nhầm là "nụy". Trước thời kỳ Heian, người Nhật vẫn chưa có chữ viết riêng và vẫn phải vay mượn chữ Hán nên Yamato được viết là wa (倭 (oa), wa?). Về sau khi đã phát triển nên hệ thống ngôn ngữ cho riêng mình, người Nhật dùng hai chữ kanji 大和 (Đại Hòa) để ký âm chữ Yamato, thể hiện lòng tự tôn dân tộc. Năm 670, Yamato gửi một đoàn sứ bộ đến chúc mừng triều đình nhà Đường dưới thời vua Đường Cao Tông nhân dịp vừa bình định Triều Tiên, và từ đó đổi tên thành Nhật Bản (日本/ にっぽん, Nhật Bản?). Kể từ sau cuộc Duy tân Minh Trị cho đến khi kết thúc Chiến tranh thế giới thứ hai, quốc hiệu đầy đủ của Nhật Bản là Dai Nippon Teikoku (大日本帝國 (Đại Nhật Bản Đế quốc), Dai Nippon Teikoku?), nghĩa là "Đế quốc Đại Nhật Bản". Ngày nay quốc hiệu Nippon-koku hay Nihon-koku (日本国 (Nhật Bản Quốc), Nippon-koku hay Nihon-koku?) có ý nghĩa tương đương về mặt nghi thức, với chữ koku (国, koku?) nghĩa là "quốc gia", "nước" hay "nhà nước" thay thế cho một miêu tả dài về ý thức hệ của chính phủ đất nước.