Grindlay zaciągnął się z Boonville 8 września 1862 roku na trzyletnią służbę w armii Unii. Dołączył do Kompanii D 146-go New York Infantry jako kapitan. W maju i czerwcu 1864 roku pułk brał udział w kampanii lądowej generała Ulysses S. Granta w Wirginii. W bitwie pod Wilderness w pierwszym tygodniu maja 146. oddział poniósł ciężkie straty. Zarówno dowódca pułku, jak i jego zastępca zginęli w akcji, pozostawiając Grindlaya jako najwyższego rangą oficera. Przyjął dowództwo nad pułkiem i poprowadził go w bitwie pod Spotsylvania Court House, która natychmiast nastąpiła. Wzniesiony na majora, Grindlay dowodził 146-tym przez resztę kampanii, w tym bitwy pod North Anna, Totopotomoy Creek
, i Cold Harbor.