הביטוי מדי פעם בפעם נוצר בעברית המאוחרת לפי הדגם השלישי, כלומר בתבנית הביטוי המקראי 'מדי שנה בשנה'. ברקע היווצרותו עמד מן הסתם גם הביטוי המקראי 'כפעם בפעם'. את הביטוי מדי פעם בפעם אפשר למצוא בכתבים עבריים למן המאה השבע־עשרה, אך עיקר תיעודו למן המאה התשע־עשרה. כבר בספרות ההשכלה שימש לצדו הביטוי המקוצר מדי פעם, והוא הרווח בפי דוברי העברית בימינו. גם בביטויי הזמן האחרים נוהגת דרך הקיצור: מדי שנה, מדי יום וכדומה – כבר בלשון הרבנית של ימי הביניים ובייחוד מלשון ההשכלה ואילך. בצירופים מאוחרים שנוצרו בתבנית זו, רגילה התבנית המקוצרת: מדי ערב, מדי קיץ. התבנית הארוכה ('מדי קיץ בקיץ') משמשת בייחוד בטקסטים ספרותיים, והתבנית הארוכה בתוספת הכינוי החבור ('מדי קיץ בקיצו') נדירה עוד יותר. לפיכך השימוש בתבנית זו עשוי להישמע משעשע, כמו שכתב אפרים קישון: "אמרו לי שאם אני רוצה ששפיגל באמת יחתום לי אז אני צריך למצוא קשר אל זלצמן מפני שהוא משחק קלפים עם שפיגל מדי יום ששי ביום ששיו" (מתוך "גומזים גומזים", עמ' 228).
יש מתקני לשון שאינם רואים בעין יפה את הביטויים המקוצרים האלה בנימוק שאין להם דוגמה במקורות. ואולם מצד ההיגיון קשה לפסול אותם, שהרי הרכיב מִדֵּי כשלעצמו אינו מחייב הכפלה – כמו שראינו במבנה מִדֵּי + פועל בצורת מקור. בצירופים דוגמת 'מדי שנה בשנה' יש למעשה גיבוב של שתי דרכים להבעת תדירות, שהרי די בביטוי 'שנה בשנה' לבדו ללא המילה 'מדי'. נראה אפוא שאפשר להכשיר את הביטוי מדי פעם, וכן את הביטויים המקוצרים האחרים.
הביטוי 'מדי פעם' או 'מדי פעם בפעם' חריג בלשוננו דווקא מבחינה אחרת: הביטויים הדומים 'מדי שנה' או 'מדי שנה בשנה', 'מדי יום' או 'מדי יום ביומו' מכוונים לדבר שקורה בכל שנה ושנה או בכל יום ויום. לעומתם הביטוי 'מדי פעם' או 'מדי פעם בפעם' מכוון לדבר שפעמים קורה ופעמים שאינו קורה. נראה כי מקור ההבדל בביטויים הלועזי פון צייַט צו צייַט (יידיש), von Zeit zu Zeit (גרמנית) – שמשמעו 'לעתים', 'לפעמים'. ככל הנראה ביטוי זה הוא שהוליד את הביטוי העברי 'מדי פעם' או 'מדי פעם בפעם', וכן את הביטוי הדומה 'מפעם לפעם'. בהשפעתו, ובהשפעת הביטוי האנגלי המקביל from time to time, אף חל שינוי במשמעו של הביטוי 'מעת לעת': בספרות חז"ל פירושו משעה מסוימת ועד אותה השעה למחרת, כלומר במשך יממה אחת, ואילו בעברית בת ימינו 'מעת לעת' משמעו 'לעתים', 'לפעמים'.