1745年、岡山藩の支藩鴨方藩(現在の岡山県浅口市)の藩邸に生まれる。播磨・備前の戦国大名であった浦上氏の末裔。系図上では浦上一族の浦上備後守の曾孫。実際はさらに代は離れている(「浦上家系図」では備後守は宗景の孫だが、実際は同時代の人物)。7歳で父と死別し、跡目を相続した。35歳のとき、中国・明の顧元昭作と伝わる「玉堂清韻」の銘のある名琴を入手したため「玉堂」を名乗るようになる。主君池田政香を敬愛し、側近として仕えた。政香は25歳で没した。鴨方藩の大目付などを勤める程の上級藩士まで進むが、琴詩書画にふける生活を送っていたため、周囲の評判は芳しくなかった。50歳のとき、旅先の城崎温泉から2人の子供(春琴と秋琴)を連れて突然脱藩。