স্যাম সিনিয়র ও অ্যানি দম্পতির সন্তান তিনি। তার বাবা বৈদ্যুতিক মিস্ত্রী ছিলেন ও দ্বিতীয় স্তরের ক্রিকেটে কলিংউডের পক্ষে খেলতেন। ইয়ারা পার্ক স্টেট স্কুলে স্যামের লেখাপড়ার সূত্রপাত ঘটে। সেখানেই তিনি ব্যাট চালাতেন ও পাইন গাছকে স্ট্যাম্প হিসেবে ব্যবহার করে বিদ্যালয় মাঠে খেলতেন। পরিবার আর্মাডেলে স্থানান্তরিত হলে সেখানকার আর্মাডেল পাবলিক স্কুলে ভর্তি হন। মাধ্যমিক শিক্ষা সমাপ্তি করে মেলবোর্নের ওয়েসলি কলেজে পড়াশোনা করেন। ভবিষ্যতের ভিক্টোরিয়া ও অস্ট্রেলিয়া দলের সঙ্গী ইয়ান জনসনের সাথে পরিচিত হন।

দ্বিতীয় বিশ্বযুদ্ধ চলাকালীন তিনি ট্যাঙ্ক বিভাগে কাজ করেন। ৩১ জুলাই, ১৯৪২ তারিখে ভিক্টোরিয়ার ওয়াকলেই এলাকায় তালিকাভূক্ত হন ও ৭ নভেম্বর, ১৯৪৫ তারিখে সার্জেন্ট পদবী নিয়ে অবসর নেন। অধিকাংশ সময়ই তিনি বিভাগীয় সদর দফতরে ব্যয় করেন। যুদ্ধের ফলে লক্সটন ও মিলারের মধ্যকার সেন্ট কিল্ডায় গড়ে উঠা বন্ধুত্বপূর্ণ সম্পর্ক ভেঙ্গে যায়। ইংল্যান্ডে যুদ্ধবিমানের পাইলট হিসেবে নিযুক্তির পূর্বে মিলারকে দক্ষিণ অস্ট্রেলিয়ায় প্রশিক্ষণের জন্য প্রেরণ করা হয়। অন্যদিকে তাকে মেলবোর্নের সংরক্ষিত বাহিনীতে রাখা হয়। এরফলে ছুটিপ্রাপ্তি সাপেক্ষে তিনি ফুটবলের দিকে মনোনিবেশ ঘটাতে পেরেছিলেন।

অস্ট্রেলীয় রুলস ফুটবলের উদীয়মান খেলোয়াড় হিসেবেই তার আত্মপ্রকাশ ঘটে। ১৯৪২ সালে সেন্ট কিল্ডায় তার অভিষেক ঘটে। ভিএফএলে ৪১ খেলায় অংশ নিয়ে ১১৪ গোল করেন। ১৯৪৬ সাল পর্যন্ত ভিক্টোরিয়ান ফুটবল লীগে (ভিএফএল) সেন্ট কিল্ডায় ফরোয়ার্ড হিসেবে খেলেন। তিনটি জগতেই তার ভূমিকা ছিল উজ্জ্বীবনী শক্তিতে ভরপুর। কিন্তু ক্রিকেটে মনোনিবেশ ঘটানোর লক্ষ্যে ১৯৪৬ মৌসুম শেষে অবসর নেন।

খেলোয়াড়ী জীবন
ব্যক্তিগত জীবন
প্রারম্ভিক জীবন
অবসর