Nebrija werd geboren in een "hidalgo" familie in Nebrixa, een stad die nu Lebrija heet in de provincie Sevilla. Zijn ouders waren Juan Martínez de Cala en Catalina de Xarana. Hij was de tweede van vijf kinderen. Er is enige onzekerheid over zijn geboortedatum. Nebrija schreef dat hij werd geboren het jaar voor de Slag bij Olmedo.
in 1445, zijn verjaardag in 1444 maar elders maakt hij andere verwijzingen die deze datum zouden tegenspreken. Traditioneel wordt 1444 geaccepteerd als zijn geboortejaar.