Pirmieji gyvenvietės Grajevo rajone egzistavo jau XV a. pradžioje. Pirmasis dokumentinis jo paminėjimas yra 1426 m. XV a. pabaigoje kaimas buvo nedidelis prekybos ir amatų centras. 1540 m. miestas gavo savivaldybės teises iš Lenkijos karaliaus Sigismundo I Senojo. 1656 m. per Potvynį (Lenkijos ir Švedijos karą)
, netoli Prostkio mūšis vyko. Dėl karo miesto gyventojai smarkiai sumažėjo. 1692 m. miestas tapo Vilčevos šeimos, kilusios iš Vilčevos, nuosavybe. 1794 m. netoli Grajevo vyko Lenkijos Kościuszko sukilimo mūšiai. 1777 m. mieste gyveno 258 gyventojai, o 1800 m. - 218 gyventojai.