Sáu trong số các anh chi em của ông lớn lên đến tuổi trưởng thành trong đó có hai người anh cùng cha khác mẹ, Lawrence và Augustine, từ cuộc hôn nhân đầu tiên của cha ông và Jane Butler Washington. Bốn anh chị em ruột của ông là Samuel, Elizabeth (Betty), John Augustine và Charles. Ba anh chị em khác mất trước khi trưởng thành: em gái ruột, Mildred chết lúc một tuổi, người anh trai khác mẹ mất khi còn sơ sinh và người chị khác mẹ Jane chết lúc 12 khi George hai tuổi. Cha của George qua đời khi ông 11 tuổi. Người anh khác mẹ của George là Lawrence sau đó trở thành người cha thay thế và cũng là mẫu người George noi gương. William Fairfax, cha vợ của Lawrence và là người anh em họ với địa chủ lớn nhất Virginia, Thomas Fairfax cũng có ảnh hưởng lớn đối với ông. Washington dành nhiều thời gian lúc còn bé ở nông trại Ferry trong Quận Stafford gần Fredericksburg. Lawrence Washington thừa hưởng gia sản khác của cha, đó là một đồn điền nằm trên bờ sông Potomac mà sau này ông đặt tên là Mount Vernon. George thừa hưởng nông trại Ferry ngay khi cha ông qua đời, và dần sau đó nhận thừa kế Mount Vernon sau khi Lawrence qua đời.