Masurové začali osídlovat oblast v 16. století, když byla součástí pruského vévodství, panství polského království. Systematické osídlení začalo v roce 1565, zatímco město oficiálně založil Caspar von Nostitz 15. května 1570. Město Gołdap se nacházelo na výhodném místě na křižovatce několika obchodních cest v blízkosti pruské hranice s Litvou a rychle rostlo. Její erb znázorňuje dům Hohenzollernů a Brandenburků, zatímco písmeno "S" označuje polského krále Sigismunda II. Augusta, který byl nadvládcem regionu. V roce 1656, během polsko-švédské války
, polská vojska pod velením Dymitra Jerzyho Wiśniowieckého byla umístěna v Gołdapu.