父はスペインの富商であったが、政治罪に問われて国外追放になり、亡命途中のボルドーでディアズが生まれた。幼いうちに孤児になり、牧師に育てられるが、13歳の時毒蛇に咬まれて片脚を失う。はじめセーヴルの磁器工場で働いていたが、画家を志し、アカデミックな絵画を学ぶ。ドラクロワなどの影響を受けてロマン主義者となり、その後コレッジョ、ヴァトー、ブーシェらを学んでロココ美術の復興を試み、独自の画風で雅宴画を描き人気を博した。1840年代にはルソーの影響を受け、ロココ的な要素を残しながらも写実的な画風になり、自然主義の風景画家として認められるようになる。バルビゾンに家を買ってパリから通い、コロー、トロワイヨン、ジャックらと親交を結び、モンティセリやルノワールなどにも影響を与えた。