הרב מרדכי אליהו נולד בירושלים בכ"א אדר א' ה'תרפ"ט (1929). אביו, רבי סלמאן אליהו, היה מקובל אשר עלה לישראל מבגדד בהוראת רבו, ה"בן איש חי" (יוסף חיים מבגדאד). אמו, מזל, הייתה אחותו שלה הרב יהודה יהושע חיים צדקה, נכדת אחות ה"בן איש חי".
אביו של הרב מרדכי אליהו הלך לעולמו כשהרב היה בן 11. בצעירותו למד הרב אצל הרב עזרא עטיה - ראש ישיבת פורת יוסף, ואצל הרב צדקה חוצי - דיין בית הדין של העדה החרדית הספרדית בירושלים, ומתלמידיו של ה"בן איש חי".
הרב מרדכי אליהו שימש את הרב אברהם ישעיה קרליץ (ה"חזון איש"), הרב יצחק ניסים - הראשון לציון, הרב הראשי הספרדי לישראל בין השנים 1955-1972, בהוראתו דאג הרב אליהו לדאוג להעלאת עצמות החיד"א (הרב חיים יוסף דוד אזולאי) מאיטליה באייר תש"ך (1960). הרב היה מקורב לרב מרדכי שרעבי - מייסד וראש ישיבת המקובלים "נהר שלום" בירושלים, ולרבנים, הרב ישראל אבוחצירא (הבבא סאלי) והרב מנחם מנדל שניאורסון (אדמו"ר חב"ד).
בשנת תש"ך (1960) והוא בן 31, סיים הרב מרדכי אליהו את לימודיו בבית מדרשו של הרב יצחק ניסים, הוסמך לדיין על ידי מועצת הרבנות הראשית וכיהן בבית הדין בבאר שבע כדיין הצעיר ביותר בארץ ישראל. בשנת תשכ"ד (1964) עבר הרב מרדכי אליהו לכהן בבית הדין הרבני האזורי בירושלים. בשנת תש"ל (1970) מונה הרב לחבר בבית הדין הרבני הגדול.
בשנת תשמ"ג (1983) מונה הרב לתפקיד הראשון לציון, הרב הראשי הספרדי לישראל והחליף את מרן הרב עובדיה יוסף זצ"ל. תפקיד אותו מילא עד לשנת תשנ"ג (1993).
הרב מרדכי אליהו שימש כנשיא כולל "דרכי הוראה" בראשות בנו הרב יוסף אליהו, אשר מכשיר לרבנות, דיינות והנהגת קהילות. בעולם ישנם למעלה מ-60 שליחים של הרב, ונוספים גם בארץ.
הרב מרדכי אליהו נהג להעביר שיעור שבועי בנושאי הלכה ואגדה בבית הכנסת בקרית משה, אשר שודר בלווין למקומות שונים בארץ ובעולם. השיעור תומלל ופורסם בעלון פרשת השבוע שהופץ בבתי כנסת.
בכ"ה סיון ה'תש"ע (2010), לאחר שנתיים של מחלה, הלך לעולמו הרב מרדכי אליהו והוא בן 81. במסע הלוויה של הרב נטלו חלק למעלה מ 100,000 איש, והוא נטמן בהר המנוחות בסמוך לקבר החיד"א, אשר את עצמותיו העלה לקבורה בישראל 50 שנה לפני.
פסיקותיו של הרב היו על פי שיטת יהודי עיראק ודרכו של ה"בן איש חי", והרב נהג לשלב בפסקיו גם דברים מתורת הקבלה, וקבלת האר"י בפרט.
הרב פרסם ספרי הלכה, שו"ת, דרשות ועוד. ביניהם: מאמר מרדכי - מס' ספרים העוסקים בשבת, מועד, שמיטה ואבלות. 'ספר הלכה' - פסקי הלכה והנהגות בענייני אורח חיים. דרכי טהרה - הלכות נידה וטהרת המשפחה, והלכות צניעות. שו"ת הרב הראשי - מבחר שאלות ותשובות שהופנו לרב בעת כהונתו כראשון לציון, ועוד. כמו כן, יצאו סידורים ומחזורים עם פסקי הלכה של הרב.