[編集]木村平九郎の子で、井上源七郎の養子となる。安政3年(1856年)箱館奉行支配組頭となり元治元年(1864年)目付となる。慶応元年(1865年)5月第2次長州征討に赴く14代将軍徳川家茂に従って上洛し、7月大坂町奉行に任じられた。9月、兵庫沖に米英仏蘭の4ヶ国連合艦隊が現れ、下関事件の賠償300万ドルの3分の2の放棄をする代わりに条約勅許と兵庫の即時開港を武力を背景に迫った。義斐は仏艦キンシャン、英旗艦プリンセス・ロイヤルにそれぞれ赴いて各国と交渉を重ねた。若年寄立花種恭が、条約勅許を保証することを求められその場を窮した際に、パークスら各国代表に自らの薬指を切って血判を押して約すると威嚇して同意を得た。歴任して慶応4年(1868年)4月幕府崩壊とともに職を辞した。