בשנה שלאחר מכן, הולי פיקד על חטיבה תחת פיקודו של גנרל טרומן סימור בקרב אולסטי בפלורידה. הוא ואנשיו הועברו לקווי החזית בווירג'יניה כחלק מהדיוויזיה של טרי, חיל האקס, צבא ג'יימס. הוא היה במלחמות של דריו'ס בלף.
, Deep Run, דרביטאון רוד, ופעולות אחרות ליד ברמודה מאה עמוק בתחתית. עם פתיחות שנוצרו על ידי הפסדים בשדה הקרב והפניות, הולי הפיק דיוויזיה במהלך המצור על פטרסבורג וקידמו אותו בספטמבר 1864 לגנרל חטיבה של מתנדבים. דאג לשמור על השלום במהלך הבחירות בנובמבר, הולי הפיקד על חטיבה שנשלחה לניו יורק כדי להגן על תהליך הבחירות.