נבריה נולד למשפחה "הידאלגו" בנבריקסה, עיירה שנקראת כיום לבריצה במחוז סביליה. הוריו היו חואן מרטינז דה קאלה וקטלינה דה זארנה. הוא היה השני מבין חמישה ילדים. יש חוסר ודאות לגבי תאריך הלידה שלו. נבריה כתב שהוא נולד שנה לפני קרב אולמדו.
ב 1445, לשים את יום הולדתו ב 1444, אבל במקום אחר הוא עושה התייחסויות אחרות אשר יהיה סותר תאריך זה. באופן מסורתי, שנת 1444 התקבלה כשנת לידתו.