(self)
读取 lda 模型有关概率分布文件，并计算 unk 词的概率分布
读取 lda 模型有关概率分布文件，并计算 unk 词的概率分布
读取 lda 模型有关概率分布文件，并计算 unk 词的概率分布
def _lda_prob_matrix(self):
        ''' 读取 lda 模型有关概率分布文件，并计算 unk 词的概率分布 '''
        # 读取 p(topic|word) 概率分布文件，由于 lda 模型过大，不方便加载并计算
        # 概率 p(topic|word)，所以未考虑 p(topic|doc) 概率，可能会导致不准
        # 但是，由于默认的 lda 模型 topic_num == 100，事实上，lda 模型是否在
        # 预测的文档上收敛对结果影响不大（topic_num 越多，越不影响）。
        with open(join(dirname(__file__), 'topic_word_weight.json'), 
                  'r', encoding='utf8') as f:
            self.topic_word_weight = json.load(f)
        self.word_num = len(self.topic_word_weight)
        
        # 读取 p(word|topic) 概率分布文件
        with open(join(dirname(__file__), 'word_topic_weight.json'),
                  'r', encoding='utf8') as f:
            self.word_topic_weight = json.load(f)
        self.topic_num = len(self.word_topic_weight)
        
        self._topic_prominence()
def _lda_prob_matrix ( self ) : # 读取 p(topic|word) 概率分布文件，由于 lda 模型过大，不方便加载并计算 # 概率 p(topic|word)，所以未考虑 p(topic|doc) 概率，可能会导致不准 # 但是，由于默认的 lda 模型 topic_num == 100，事实上，lda 模型是否在 # 预测的文档上收敛对结果影响不大（topic_num 越多，越不影响）。 with open ( join ( dirname ( __file__ ) , 'topic_word_weight.json' ) , 'r' , encoding = 'utf8' ) as f : self . topic_word_weight = json . load ( f ) self . word_num = len ( self . topic_word_weight ) # 读取 p(word|topic) 概率分布文件 with open ( join ( dirname ( __file__ ) , 'word_topic_weight.json' ) , 'r' , encoding = 'utf8' ) as f : self . word_topic_weight = json . load ( f ) self . topic_num = len ( self . word_topic_weight ) self . _topic_prominence ( )