A Flesch család sziléziai származású. Az apa, Flesch Salamon orvos volt, felesége, Klein Johanna pedig egy győri bútorkereskedő leánya. Saját házuk nem lévén, bérelt lakásban éltek. Itt látta meg a napvilágot Flesch Károly, a hat gyermek közül ötödikként.