(self,msg)
return words
Args:
        Returns:
Args:
        Returns:
Args : Returns :
def tokenizer(self,msg):
        """
        Args:
        Returns:
        """
        msg = re.sub('\d', ' ', msg)
        msg = re.sub('Mar|GMT|Apr', '', msg)
        msg = re.sub(':|\.', ' ', msg)
        msg = re.sub('<', ' ', msg)
        msg = re.sub('>', ' ', msg)
        words=msg.split()
        return words
def tokenizer ( self , msg ) : msg = re . sub ( '\d' , ' ' , msg ) msg = re . sub ( 'Mar|GMT|Apr' , '' , msg ) msg = re . sub ( ':|\.' , ' ' , msg ) msg = re . sub ( '<' , ' ' , msg ) msg = re . sub ( '>' , ' ' , msg ) words = msg . split ( ) return words