(self, sents, filtering=True, remove_weak_pairs=True)
训练步骤，也就是统计字频和字对频率。

        【参数含义】
        filtering：是否过滤无关字符，只保留中文、数字和英文字母；
训练步骤，也就是统计字频和字对频率。
训练步骤，也就是统计字频和字对频率。
def train(self, sents, filtering=True, remove_weak_pairs=True):
        """训练步骤，也就是统计字频和字对频率。

        【参数含义】
        filtering：是否过滤无关字符，只保留中文、数字和英文字母；
        """
        logger = logging.getLogger(u'统计频数')
        for n, sent in enumerate(self.texts(sents, filtering)):
            if n % 10000 == 0 and n > 0:
                logger.info(u'已统计了 %s 个句子' % n)
            for s in sent:
                for i, c in enumerate(s):
                    self.chars[c] += 1
                    if i < len(s) - 1:
                        self.pairs[s[i:i + 2]] += 1

        logger.info(u'共统计了 %s 个句子' % (n + 1))
def train ( self , sents , filtering = True , remove_weak_pairs = True ) : logger = logging . getLogger ( u'统计频数') for n , sent in enumerate ( self . texts ( sents , filtering ) ) : if n % 10000 == 0 and n > 0 : logger . info ( u'已统计了 %s 个句子' % n) for s in sent : for i , c in enumerate ( s ) : self . chars [ c ] += 1 if i < len ( s ) - 1 : self . pairs [ s [ i : i + 2 ] ] += 1 logger . info ( u'共统计了 %s 个句子' % (n + 1))