De eerste nederzettingen in het gebied van het moderne Grajewo bestonden al in het begin van de 15e eeuw. De eerste gedocumenteerde vermelding is uit het jaar 1426. In de late 15e eeuw was het dorp een klein centrum van handel en ambachten. In 1540 kreeg de stad gemeentelijke rechten van de Poolse koning Sigismund I de Oude. In 1656, tijdens de Vloed (Pools-Zweedse oorlog)
In de buurt vond de Slag bij Prostki plaats. De bevolking van de stad nam als gevolg van de oorlog drastisch af. In 1692 kwam de stad in bezit van de familie Wilczewski, afkomstig uit Wilczewo. In 1794 werden de veldslagen van de Poolse Kościuszko-opstand gevochten in de buurt van Grajewo. In 1777 had de stad 258 inwoners en in 1800 218 inwoners.