הרדי התפטר מהצבא האמריקני ב-31 בינואר 1861, לאחר שמדינתו ג'ורג'יה נפרדה מהאיחוד. הוא הצטרף לצבא הקונפדרציה כקולונל ב-7 במרץ וקיבל פיקוד על מבצרים מורגן וגיינס באלבמה. לאחר מכן הוא הועלה לגנרל חטיבה (17 ביוני) וגנרל רב (7 באוקטובר). ב-10 באוקטובר 1862, הוא היה אחד הגנרלים המפקדים הראשונים של הקונפדרציה. המשימה הראשונית שלו כגנרל הייתה לארגן חטיבה של גדודי ארקנסו והוא הרשים את אנשיו ואת חבריו הקצינים על ידי פתרון בעיות אספקה קשות ועל האימונים הנרחבים שהוא נתן לחטיבה שלו. הוא קיבל את הכינוי שלו, "Old Reliable", בזמן שהיה מפקד. הארדי פעל בארקנסו עד שנקרא להצטרף לצבא מרכז קנטאקי של גנרל אלברט סידני ג'ונסטון כמפקד חיל. ג'ונסטון היה נסוג מקנטאקי וטנסי, לתוך מיסיסיפי, לפני שיפתח התקפת הפתעה בקרב שילה
באביב של 1862. הארדי נפצע בזרוע ב-6 באפריל 1862, במהלך היום הראשון של הקרב. ג'ונסטון נהרג בשילה וחילו של הארדי הצטרף לצבא טנסי של גנרל ברקסטון בראג לפני המצור על קורינתוס, מיסיסיפי, עד שפקד המחלקה פי.ג.טי. בורגארד פינה את העיר ונסוג לטופלו. בורגארד הוחלף על ידי בראג, אשר לאחר מכן העביר את צבאו לצ'אטנוגה לפני שהחל במתקפת הלב של הקונפדרציה לקנטאקי. הקמפיין הסתיים בקרב פריוויל באוקטובר 1862, שם הורה הארדי על האגף השמאלי של צבא בראג.