ولد في 12 أبريل 1757، بالقرب من تشارلزتاون، مقاطعة سيسيل، مقاطعة ماريلاند، أمريكا البريطانية، اتبع كاي دورة أكاديمية. كان من الموالين خلال الحرب الثورية الأمريكية، قاتل مع الجيش البريطاني
من سنة 1777 لحد سنة 1781. خدم في كتيبة الولاء في ماريلاند كقائد. كاي و كتيبة كاملة اتسربوا من قبل الجيش الاسباني اللي كان في حرب مع البريطانيين في بنساكولا، فلوريدا. كاي كان سجين لمدة شهر في هافانا، كوبا قبل أن يتم إطلاق سراحه وشروطاً وإرساله إلى مدينة نيويورك، نيويورك حتى نهاية الحرب. بعد الحرب، ذهب كاي إلى إنجلترا وتخرج من المعبد الأوسط في لندن في عام 1784 وقرأ القانون في عام 1785. رجع إلى ماريلاند في سنة ١٧٨٥. تم قبوله في المحاماة ودخل الممارسة الخاصة في ليوناردتاون ، ميريلاند من 1787 إلى 1790. واصل ممارسة الممارسة الخاصة في أنابوليس ، ماريلاند من 1790 إلى 1794 ، ومن 1799 إلى 1800. كان عضوا في مجلس المندوبين في ولاية ماريلاند من 1794 إلى 1799. كان عمدة أنابوليس من 1797 إلى 1798.