অলিভিয়ে ১৯০৭ সালের ২২ মে সারের ডর্কিংয়ে জন্মগ্রহণ করেন। তার পিতা রেভড জেরার্ড কার অলিভিয়ে (১৮৬৯-১৯৩৯) এবং তার মাতা অ্যাগনেস লুইস (জন্মনাম ক্রুকেনডেন, ১৮৭১-১৯২০)। তিনি তার পিতামাতার তিন সন্তানের মধ্যে সর্বকনিষ্ঠ। তার বড় ভাই সাইবিল (১৯০১-১৯৮৯) এবং জেরার্ড ডাক্রেস "ডিকি" (১৯০৪-১৯৫৮)। তার প্র-প্র-পিতামহ ছিলেন ফরাসি হুগুয়েনো বংশোদ্ভূত এবং তার পূর্বপুরুষগণ প্রটেস্ট্যান্ট যাজক ছিলেন। তার পিতা জেরার অলিভিয়ে একজন স্কুলশিক্ষক হিসেবে তার কর্মজীবন শুরু করেছিলেন, কিন্তু তার ত্রিশ বছর বয়সে তিনি ধর্মের প্রতি ভক্তিশীল হয়ে ওঠেন এবং চার্চ অব ইংল্যান্ডের পূজারি হিসেবে নিবেদিত হন। তিনি উচ্চমাত্রার গির্জা ও ধর্মীয় আচারভিত্তিক অ্যাঞ্জলিকান রীতি পালন করতেন এবং তাকে "ফাদার অলিভিয়ে" নামে সম্বোধন করতে পছন্দ করতেন। এর ফলে অনেক অ্যাঞ্জেলিক রীতি পালনকারীদের কাছে তিনি অগ্রহণযোগ্য হয়ে পড়েন, এবং তার জন্য সাময়িক, ও অন্য পূজারির অনুপস্থিতিতে গির্জার দায়িত্ব পালনের প্রস্তাব দেওয়া হত। এর ফলে তিনি কিছুটা যাযাবর হয়ে পড়েন এবং লরন্স তার প্রথম পাঁচ বছর কোন এক স্থানে বেশি বাস করতে পারেন নি এবং তার কোন বন্ধু ছিল না।

১৯১২ সালে যখন অলিভিয়ের বয়স পাঁচ, তার পিতা পিমলিকোর সেন্ট স্যাভিয়রে সহকারী পূজারি হিসেবে স্থায়ী চাকরি পান। তিনি ছয় বছর এই পদে ছিলেন এবং এর ফলে সেই স্থানে তার পরিবার নিয়ে থিতু হতে সমর্থ হন। অলিভিয়ে তার মায়ের প্রতি ভক্তিশীল ছিলেন, কিন্তু পিতার প্রতি নয়, কারণ তিনি তার পিতা ছিলেন ঠাণ্ডা মেজাজের ও তার সাথে সম্পর্কের দুরত্ব ছিল। তদুপরি, তিনি তার পিতার কাছ থেকে পরিবেশন শিল্পকলা বিষয়ে অনেক কিছু শিখেন। যুবক বয়সে জেরার্ড অলিভিয়ে মঞ্চের সাথে যুক্ত ছিলেন এবং নাটকীয়তার সাথে ধর্ম প্রচার করতেন। অলিভিয়ে লিখেন যে "তাঁর পিতা জানত কখন গলার স্বর উচ্চ থেকে নিম্নে নিয়ে আসতে হবে, কখন অনুভূতিপ্রবণ হতে হবে... ভাবানুভুতি ও আচরণের এই দ্রুত পরিবর্তন আমার মধ্যে ঢুকে যায়, এবং আমি তা কখনো ভুলি নি।"

জীবনী
প্রারম্ভিক জীবন (১৯০৭-২৪)
রাজদরবার ও চিসেস্টার (১৯৫৭-১৯৬০)
প্রারম্ভিক অভিনয় কর্মজীবন (১৯২৪-২৯)