(self, sent, combine_Aa123=True)
return result
比较完整的分词函数，包括分词前和分词后的处理。
        分词前：按照标点或者换行符来切分长句，然后逐一分词，能提高效率；
        分词后：合并连续的数字或字母（可选）
比较完整的分词函数，包括分词前和分词后的处理。
        分词前：按照标点或者换行符来切分长句，然后逐一分词，能提高效率；
        分词后：合并连续的数字或字母（可选）
比较完整的分词函数，包括分词前和分词后的处理。 分词前：按照标点或者换行符来切分长句，然后逐一分词，能提高效率； 分词后：合并连续的数字或字母（可选）
def tokenize(self, sent, combine_Aa123=True):
        """比较完整的分词函数，包括分词前和分词后的处理。
        分词前：按照标点或者换行符来切分长句，然后逐一分词，能提高效率；
        分词后：合并连续的数字或字母（可选）
        """
        result = []
        start = 0
        for i in re.finditer(u'[。，、！？\n ]+', sent):
            result.extend(self.simple_tokenize(sent[start:i.start()]))
            result.extend(sent[i.start():i.end()])
            start = i.end()

        result.extend(self.simple_tokenize(sent[start:]))
        if combine_Aa123:
            result = self.combine_Aa123(result)

        return result
def tokenize ( self , sent , combine_Aa123 = True ) : result = [ ] start = 0 for i in re . finditer ( u'[。，、！？\n ]+', sent): result . extend ( self . simple_tokenize ( sent [ start : i . start ( ) ] ) ) result . extend ( sent [ i . start ( ) : i . end ( ) ] ) start = i . end ( ) result . extend ( self . simple_tokenize ( sent [ start : ] ) ) if combine_Aa123 : result = self . combine_Aa123 ( result ) return result