父は大目付の堀利堅、母は林述斎の娘。異母弟にパリ万国博覧会使節団の徳川昭武伝役で初代帝室博物館長の山高信離(石見守)がいる[2][3][4]。国境設定の調査として樺太・蝦夷地の巡回を行ない、そのまま箱館奉行となる。奉行在任中にも巡回を行った。安政5年(1858年)には新設された外国奉行に就任、神奈川奉行も兼任して諸外国大使との交渉に尽力した。横浜港開港に尽力し、通商条約では日本全権の一人として署名している。万延元年(1860年)、プロイセンの外交官フリードリヒ・アルブレヒト・ツー・オイレンブルクとの条約交渉を行なっていたが、このときに利煕がプロイセンと裏交渉しているという風聞、並びにプロイセンではなくドイツ連邦(当時、ドイツはまだ統一されておらず、利煕がプロイセン一国だけではなくオーストリアとも秘密交渉を行なっていたというまことしやかな風聞が流れたらしい[5])との秘密交渉などが行なわれていたことなどが露見して、幕府から追及される。利煕はそれに対して何の弁解も行なわず、プロイセンとの条約締結直前に切腹した。死後、村垣範正がオイレンブルクとの交渉を引き継いで日普修好通商条約を結んだ。