הוא נאבק בזירת האיגרוף ללא חת, נלחם בשלושת הקרבות הגדולים בהיסטוריה מול מוחמד עלי והיה אלוף העולם, אבל בגיל 67 גופו של ג'ו פרייזר נכנע לסרטן הכבד. עולם הספורט איבד לפנות בוקר (שלישי) את אחת הדמויות הקשוחות שידע, כאשר דווח כי המתאגרף לשעבר מת, ימים אחדים לאחר שנודע כי חלה במחלה הקשה.
פרייזר, שהיה המתאגרף הראשון שניצח את מוחמד עלי, בקרב במדיסון סקוור גארדן, מת בהוספיס בו היה מאושפז. בשנים האחרונות סבל ממצוקה כלכלית קשה והתקיים בדוחק רב בפילדלפיה. פרייזר היה אלוף העולם במשך ארבע שנים, עד שנוצח ב-1973 בידי אגדה אחרת, ג'ורג' פורמן. על פרישתו מהזירה הודיע פרייזר ב-1976, אם כי ביצע קאמבק לקרב אחד לפני 30 שנים בדיוק.
הקרב המפורסם ביותר בו השתתף פרייזר ידוע כ"ת'רילה אין מנילה" בו לחם בעלי במהלך 14 סיבובים, וביקש להמשיך להילחם ביריבו למרות שלא ראה דבר בשל המכות שספג. "זה היה הדבר הכי קרוב שידעתי למוות", סיפר עלי על הקרב ההוא.
פרייזר נולד ב-1944 בדרום קרוליינה, ו-20 שנים אחר כך הפך למתאגרף האמריקני היחיד שזוכה במדליית זהב במשחקים האולימפיים בטוקיו. שנה לאחר מכן הפך למקצוען, וב-1970 הוכתר כאלוף העולם במשקל כבד אחרי שניצח את ג'ימי אליס והשלים מאזן של 0:26.
פרייזר סיים את הקריירה במאזן של 4:32 ותיקו אחד. "בכל פעם שהוא חבט בי ירדו לי חמש שנים מהחיים", סיפר פורמן שנים אחרי שגבר על פרייזר.
פרייזר, שהתגרש לפני שנים מאישתו פלורנס, השאיר אחריו 11 ילדים, אחד מהם הפך לפני שני עשורים למתאגרף אך לא הצליח להתקרב לתהילה בה זכה אביו. גם אחת מבנותיו, ג'קי פרייזר-לייד, התאגרפה, וב-2001 נוצחה בקרב הבנות המפורסם על ידי ליילה עלי, בתו של מוחמד עלי.