Нарадзіўся Бенедыкт Тадэвуш 12 траўня 1833 года ў фальварку Адамарын, які знаходзіўся ўсяго ў 2,5 км ад вёскі Дубрава (Маладзечанскага раёна, Мінскай вобласці), у сям’і Яна і Саламеі Дыбоўскіх. Бацька працаваў эканомам у маёнтку Адама Хмары, а маці паходзіла з заможнага роду Пшысецкіх. Увогуле з датай нараджэння ў гісторыі Дыбоўскага ёсць свая загадкаваць, паўсюль можна сустрэць дату 1833 год, але ў сваіх дзённіках, ён піша што нарадзіўся ў 1830 годзе. Яго бацька балюча ўспрымаў падзелы Рэчы Паспалітай, быў актыўным удзельнікам паўстання 1833 года, выхаваў сыноў і дачок у патрыятычным духу.