Fyrstu byggðir á svæðinu Grajewo nútímans voru til snemma á 15. öld. Fyrsta skjalfest minning er frá árinu 1426. Í lok 15. aldar var þorpið lítið miðstöð verslunar og handverks. Árið 1540 fékk borgin sveitarstjórnarréttindi frá pólskum konungi Sigismundi I. Árið 1656, á meðan á flóði stóð (pólsk-sænsk stríð)
, barðist Prostki í nágrenninu. Íbúum bæjarins fækkaði verulega vegna stríðsins. Árið 1692 varð bærinn í eigu Wilczewski fjölskyldunnar, sem kom frá Wilczewo. Árið 1794 urðu átök í pólsku Kościuszko uppreisninni nálægt Grajewo. Árið 1777 voru íbúar bæjarins 258 og árið 1800 voru íbúar bæjarins 218.