京都に生まれ、二十余歳で志を立て、藤原惺窩の門人菅玄同に師事し、のち林羅山に入門。羅山が幕府に仕えたのち江戸に出て、寛永12年(1635年)の頃に松平定綱の推薦により水戸藩に四百石で仕え、初代藩主頼房の侍講となった。二代藩主光圀が学問を好むようになったのは卜幽の感化によるところが多いと言われる。寛文元年(1661年)に致仕し、同5年(1665年)頃から眼病を患い、まもなく失明状態となり、同10年(1670年)に73歳で没した。博識で、勤めて倦まず、朱子学を根源としながら、左伝・荘子に及ぶ研究の広さを備えた人物であった。