اكتب استمرار لهذه الفقرة - استقال هاردي من عمله في الجيش الأمريكي في 31 يناير 1861، بعد أن انفصلت ولايته جورجيا عن الاتحاد. انضم إلى جيش الولايات الكونفدرالية كعقيد في 7 مارس وتم إعطاؤه قيادة فورت مورغان وجينز في ألاباما. تم ترقيته لاحقاً إلى جنرال بريجادي (17 يونيو) وجنرال رئيسي (7 أكتوبر). بحلول 10 أكتوبر 1862، كان واحد من أول جنرالات الكونفدرالية. كان مهمته الأولى كجنرال هي تنظيم لواء من فوجات أركنساس وأثار إعجاب رجاله وزملائه من خلال حل مشاكل الإمداد الصعبة والتدريب الدقيق الذي أعطاه لواءه. حصل على لقب "العجوز الموثوق" أثناء قيادته. عمل هاردي في أركنساس حتى دُعا للانضمام إلى جيش الجنرال ألبرت سيدني جونستون في وسط كنتاكي كقائد فيلق. جونستون سيسحب من كنتاكي وتينيسي، الى مسيسيبي، قبل ان يشن هجوم مفاجئ في معركة شيلوه
في ربيع عام 1862. جُرح هاردي في الذراع في 6 أبريل 1862، خلال اليوم الأول من المعركة. قتل جونستون في شيلوه وانضم جيش هاردي إلى جيش تينيسي للجنرال براكستون براغ قبل حصار كورنث، ميسيسيبي، حتى قام قائد القسم بي جي تي بوريغارد بإخلاء المدينة وانسحب إلى توبيلو. بوريجارد تم استبداله بـ براغ، الذي نقل جيشه لاحقاً إلى تشاتانوجا قبل أن يبدأ هجوم الكونفدرالية على كنتاكي. انتهت تلك الحملة معركة بيريفيل في أكتوبر 1862، حيث قاد هاردي الجناح الأيسر لجيش براغ.