The family moved to Ogdensburg, New York when Remington was eleven and he attended Vermont Episcopal Institute, a church-run military school, where his father hoped discipline would rein in his son's lack of focus and perhaps lead to a military career.
המשפחה עקרה לאוגדנסבורג (Ogdensburg) כשרמינגטון היה בן אחת עשרה והוא למד במכון האפיסקופלי של ורמונט (Vermont Episcopal Institute), בית ספר צבאי שנוהל על ידי הכנסייה, שבו קיווה אביו שהמשמעת תרסן את חוסר המיקוד של בנו, ואולי תוביל לקריירה צבאית.