/* ĠCopyright Ġ 2 0 1 9 ĠThe ĠTensorFlow ĠAuthors . ĠAll ĠRights ĠReserved . Ċ Ċ Licensed Ġunder Ġthe ĠApache ĠLicense , ĠVersion Ġ 2 . 0 Ġ( the Ġ" License "); Ċ you Ġmay Ġnot Ġuse Ġthis Ġfile Ġexcept Ġin Ġcompliance Ġwith Ġthe ĠLicense . Ċ You Ġmay Ġobtain Ġa Ġcopy Ġof Ġthe ĠLicense Ġat ĊĊĠĠĠ Ġhttp :// www . apache . org / licenses / LICENSE - 2 . 0 Ċ Ċ Unless Ġrequired Ġby Ġapplicable Ġlaw Ġor Ġagreed Ġto Ġin Ġwriting , Ġsoftware Ċ distributed Ġunder Ġthe ĠLicense Ġis Ġdistributed Ġon Ġan Ġ" AS ĠIS " ĠBASIS , Ċ WITHOUT ĠWARRANTIES ĠOR ĠCONDITIONS ĠOF ĠANY ĠKIND , Ġeither Ġexpress Ġor Ġimplied . Ċ See Ġthe ĠLicense Ġfor Ġthe Ġspecific Ġlanguage Ġgoverning Ġpermissions Ġand Ċ limitations Ġunder Ġthe ĠLicense . Ċ ================================================================ ============== */ Ċ package Ġorg . tensorflow . lite . examples . bert qa . token ization Ċ Ċ /** ĠTo Ġcheck Ġwhether Ġa Ġchar Ġis Ġwhitespace / control / p unctuation . Ġ Ġ*/ Ċ internal Ġobject ĠChar Checker Ġ{ ĊĊĠĠĠ Ġ/** ĠTo Ġjudge Ġwhether Ġit 's Ġan Ġempty Ġor Ġunknown Ġcharacter . Ġ Ġ*/ ĊĠĠĠ Ġfun Ġis Invalid ( ch : ĠChar ): ĠBoolean Ġ{ ĊĠĠĠĠĠĠĠ Ġreturn Ġch . toInt () Ġ== Ġ 0 Ġ|| Ġch . toInt () Ġ== Ġ 0 xff fd ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ/** ĠTo Ġjudge Ġwhether Ġit 's Ġa Ġcontrol Ġcharacter ( exclude Ġwhitespace ). Ġ Ġ*/ ĊĠĠĠ Ġfun Ġis Control ( ch : ĠChar ): ĠBoolean Ġ{ ĊĠĠĠĠĠĠĠ Ġif Ġ( Character . is Whitespace ( ch )) Ġ{ ĊĠĠĠĠĠĠĠĠĠĠĠ Ġreturn Ġfalse ĊĠĠĠĠĠĠĠ Ġ} ĊĠĠĠĠĠĠĠ Ġval Ġtype Ġ= ĠCharacter . getType ( ch ) ĊĠĠĠĠĠĠĠ Ġreturn Ġtype Ġ== ĠCharacter . CONTROL . toInt () Ġ|| Ġtype Ġ== ĠCharacter . FORMAT . toInt () ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ/** ĠTo Ġjudge Ġwhether Ġit Ġcan Ġbe Ġreg arded Ġas Ġa Ġwhitespace . Ġ Ġ*/ ĊĠĠĠ Ġfun Ġis Whitespace ( ch : ĠChar ): ĠBoolean Ġ{ ĊĠĠĠĠĠĠĠ Ġif Ġ( Character . is Whitespace ( ch )) Ġ{ ĊĠĠĠĠĠĠĠĠĠĠĠ Ġreturn Ġtrue ĊĠĠĠĠĠĠĠ Ġ} ĊĠĠĠĠĠĠĠ Ġval Ġtype Ġ= ĠCharacter . getType ( ch ) ĊĠĠĠĠĠĠĠ Ġreturn Ġtype Ġ== ĠCharacter . SPACE _ SEPARATOR . toInt () Ġ|| Ġtype Ġ== ĠCharacter . LINE _ SEPARATOR . toInt () Ġ|| Ġtype Ġ== ĠCharacter . PAR AG R APH _ SEPARATOR . toInt () ĊĠĠĠ Ġ} ĊĊĠĠĠ Ġ/** ĠTo Ġjudge Ġwhether Ġit 's Ġa Ġpunctuation . Ġ Ġ*/ ĊĠĠĠ Ġfun Ġis P unctuation ( ch : ĠChar ): ĠBoolean Ġ{ ĊĠĠĠĠĠĠĠ Ġval Ġtype Ġ= ĠCharacter . getType ( ch ) ĊĠĠĠĠĠĠĠ Ġreturn Ġtype Ġ== ĠCharacter . CON NE CTOR _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . DASH _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . START _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . END _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . INITIAL _ QUOTE _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . FINAL _ QUOTE _ PUN CT UATION . toInt () Ġ|| Ġtype Ġ== ĠCharacter . OTHER _ PUN CT UATION . toInt () ĊĠĠĠ Ġ} Ċ }