(log, msg_id_index=3)
return (msg_root, msg_list)
//从newsyslog中拆分单词，过滤数字、变量，获得pid和word_list
        return : (msg_root,word_list)
//从newsyslog中拆分单词，过滤数字、变量，获得pid和word_list
        return : (msg_root,word_list)
// 从newsyslog中拆分单词，过滤数字、变量，获得pid和word_list return : ( msg_root word_list )
def getMsgFromNewSyslog(log, msg_id_index=3):
    '''
        //从newsyslog中拆分单词，过滤数字、变量，获得pid和word_list
        return : (msg_root,word_list)
    '''

    # word_list = log.strip().split()
    # msg = ' '.join(word_list[FIRST_COL:])
    msg = log

    ##Regular expression
    # msg = re.sub('(:(?=\s))|((?<=\s):)', ' ', msg)
    # # msg = re.sub('(\d+\.)+\d+', '', msg)
    # # msg = re.sub('\d{2}:\d{2}:\d{2}', '', msg)
    # # msg = re.sub('Mar|Apr|Dec|Jan|Feb|Nov|Oct|May|Jun|Jul|Aug|Sep', '', msg)
    # # msg = re.sub(':?(\w+:)+', '', msg)
    # msg = re.sub('\.|\(|\)|\<|\>|\/|\-|\=|\[|\]|,|:', ' ', msg)
    # msg = re.sub('\\b(0[xX])?[A-Fa-f0-9]+\\b', ' ', msg)#过滤十六进制的内存地址
    # msg = re.sub('\s?(\s|^)[1-9]\d*(\s|$)\s?', ' ', msg)#过滤连续的纯数字

    msg_list = msg.split()

    if len(msg_list)>300:
        msg_list=msg_list[:300]

    #暂时将msg_root设置为空
    msg_root=''
    # print msg_list
    return (msg_root, msg_list)
def getMsgFromNewSyslog ( log , msg_id_index = 3 ) : # word_list = log.strip().split() # msg = ' '.join(word_list[FIRST_COL:]) msg = log ##Regular expression # msg = re.sub('(:(?=\s))|((?<=\s):)', ' ', msg) # # msg = re.sub('(\d+\.)+\d+', '', msg) # # msg = re.sub('\d{2}:\d{2}:\d{2}', '', msg) # # msg = re.sub('Mar|Apr|Dec|Jan|Feb|Nov|Oct|May|Jun|Jul|Aug|Sep', '', msg) # # msg = re.sub(':?(\w+:)+', '', msg) # msg = re.sub('\.|\(|\)|\<|\>|\/|\-|\=|\[|\]|,|:', ' ', msg) # msg = re.sub('\\b(0[xX])?[A-Fa-f0-9]+\\b', ' ', msg)#过滤十六进制的内存地址 # msg = re.sub('\s?(\s|^)[1-9]\d*(\s|$)\s?', ' ', msg)#过滤连续的纯数字 msg_list = msg . split ( ) if len ( msg_list ) > 300 : msg_list = msg_list [ : 300 ] #暂时将msg_root设置为空 msg_root = '' # print msg_list return ( msg_root , msg_list )