השלים את המשפט הבא: בשנה שלאחר מכן, הולי פיקד על חטיבה תחת גנרל טרומן סימור בקרב אולסטי בפלורידה. הוא ואנשיו הועברו לקווי החזית בווירג'יניה כחלק מהדיוויזיה של טרי, חיל האקס, צבא ג'יימס. הוא היה בקרב של
דריו'ס בלף, דיפ ראן, דרביטאון רוד, ופעולות אחרות ליד ברמודה הונדראד ודיפ באטום. עם פתיחות שנוצרו על ידי הפסדים בשדה הקרב והפניות, הולי הפיק דיוויזיה במהלך המצור על פטרסבורג וקידמו אותו בספטמבר 1864 לגנרל חטיבה של מתנדבים. דאג לשמור על השלום במהלך הבחירות בנובמבר, הולי הפיקד על חטיבה שנשלחה לניו יורק כדי להגן על תהליך הבחירות.