| { | |
| "version": "1.0", | |
| "truncation": null, | |
| "padding": null, | |
| "added_tokens": [ | |
| { | |
| "id": 0, | |
| "content": "<start>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 1, | |
| "content": "<end>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 2, | |
| "content": "<pad>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| } | |
| ], | |
| "normalizer": null, | |
| "pre_tokenizer": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": false, | |
| "trim_offsets": true, | |
| "use_regex": true | |
| }, | |
| "post_processor": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": true, | |
| "trim_offsets": false, | |
| "use_regex": true | |
| }, | |
| "decoder": { | |
| "type": "ByteLevel", | |
| "add_prefix_space": true, | |
| "trim_offsets": true, | |
| "use_regex": true | |
| }, | |
| "model": { | |
| "type": "BPE", | |
| "dropout": null, | |
| "unk_token": null, | |
| "continuing_subword_prefix": null, | |
| "end_of_word_suffix": null, | |
| "fuse_unk": false, | |
| "byte_fallback": false, | |
| "vocab": { | |
| "<start>": 0, | |
| "<end>": 1, | |
| "<pad>": 2, | |
| "\"": 3, | |
| "'": 4, | |
| ",": 5, | |
| "-": 6, | |
| ".": 7, | |
| "<": 8, | |
| ">": 9, | |
| "A": 10, | |
| "B": 11, | |
| "C": 12, | |
| "D": 13, | |
| "G": 14, | |
| "H": 15, | |
| "I": 16, | |
| "M": 17, | |
| "N": 18, | |
| "O": 19, | |
| "S": 20, | |
| "a": 21, | |
| "b": 22, | |
| "c": 23, | |
| "d": 24, | |
| "e": 25, | |
| "f": 26, | |
| "g": 27, | |
| "h": 28, | |
| "i": 29, | |
| "j": 30, | |
| "k": 31, | |
| "l": 32, | |
| "m": 33, | |
| "n": 34, | |
| "o": 35, | |
| "p": 36, | |
| "r": 37, | |
| "s": 38, | |
| "t": 39, | |
| "u": 40, | |
| "w": 41, | |
| "x": 42, | |
| "y": 43, | |
| "²": 44, | |
| "Ì": 45, | |
| "Ġ": 46, | |
| "st": 47, | |
| "nd": 48, | |
| "ar": 49, | |
| "end": 50, | |
| "Ġ<": 51, | |
| "star": 52, | |
| "start": 53, | |
| "hl": 54, | |
| "̲": 55, | |
| "wi": 56, | |
| "ii": 57, | |
| "Ġg": 58, | |
| "aa": 59, | |
| "oo": 60, | |
| "Ġn": 61, | |
| "Ġwi": 62, | |
| "Ġ'": 63, | |
| "Ġii": 64, | |
| "an": 65, | |
| "Ġy": 66, | |
| "Ġl": 67, | |
| "Ii": 68, | |
| "ĠIi": 69, | |
| "oohl": 70, | |
| "ee": 71, | |
| "im": 72, | |
| "Ġwil": 73, | |
| "Ġh": 74, | |
| "whl": 75, | |
| "Ġhl": 76, | |
| "ag": 77, | |
| "dii": 78, | |
| "nii": 79, | |
| "ts": 80, | |
| "xwi": 81, | |
| "Ġd": 82, | |
| "Ġha": 83, | |
| "uu": 84, | |
| "Ġnee": 85, | |
| "xs": 86, | |
| "Ġyu": 87, | |
| "Ġa": 88, | |
| "ip": 89, | |
| "kwhl": 90, | |
| "wihl": 91, | |
| "gi": 92, | |
| "Ġk": 93, | |
| "xw": 94, | |
| "'m": 95, | |
| "Ġxs": 96, | |
| "Ġdim": 97, | |
| "Ġneedii": 98, | |
| "igi": 99, | |
| "Ġb": 100, | |
| "Ġligi": 101, | |
| "Ġwili": 102, | |
| "di": 103, | |
| "Ġj": 104, | |
| "Ġp": 105, | |
| "Ġt": 106, | |
| "Ġwihl": 107, | |
| "sxwi": 108, | |
| "Ġs": 109, | |
| "Ġya": 110, | |
| "in": 111, | |
| "Ġhlaa": 112, | |
| "Ġna": 113, | |
| "Ġan": 114, | |
| "ax": 115, | |
| "ay": 116, | |
| "ahl": 117, | |
| "oot": 118, | |
| "ni": 119, | |
| "ol": 120, | |
| "Ġyukwhl": 121, | |
| "Ġnii": 122, | |
| "Ġnaa": 123, | |
| "Ġwilp": 124, | |
| "ipe": 125, | |
| "Ġpipe": 126, | |
| "uxw": 127, | |
| "tshl": 128, | |
| "Ġyatshl": 129, | |
| "ĠS": 130, | |
| "na": 131, | |
| "hli": 132, | |
| "Ġaa": 133, | |
| "Ġneediit": 134, | |
| "Ġ\"": 135, | |
| "̲'": 136, | |
| "il": 137, | |
| "Ġw": 138, | |
| "Ġyee": 139, | |
| "Ġloot": 140, | |
| "at": 141, | |
| "ck": 142, | |
| "hol": 143, | |
| "ka": 144, | |
| "lhl": 145, | |
| "ock": 146, | |
| "tock": 147, | |
| "ya": 148, | |
| "wil": 149, | |
| "Ġgya": 150, | |
| "Ġiin": 151, | |
| "Ġluu": 152, | |
| "uuhl": 153, | |
| "ĠStock": 154, | |
| "holm": 155, | |
| "ĠStockholm": 156, | |
| "ad": 157, | |
| "ls": 158, | |
| "xu": 159, | |
| "Ġts": 160, | |
| "hla": 161, | |
| "Ġwina": 162, | |
| "Ġhlg": 163, | |
| "Ġhahla": 164, | |
| "uut": 165, | |
| "Ġbag": 166, | |
| "ayt": 167, | |
| "Ġwag": 168, | |
| "lsdi": 169, | |
| "as": 170, | |
| "ok": 171, | |
| "Ġhe": 172, | |
| "diit": 173, | |
| "ain": 174, | |
| "wit": 175, | |
| "Ġxsa": 176, | |
| "Ġxsi": 177, | |
| "Ġja": 178, | |
| "nit": 179, | |
| "xhl": 180, | |
| "xwhl": 181, | |
| "iihli": 182, | |
| "Ġgiihli": 183, | |
| "Ġlax": 184, | |
| "ak": 185, | |
| "̲.": 186, | |
| "eek": 187, | |
| "Ġap": 188, | |
| "Ġxseek": 189, | |
| "Ġji": 190, | |
| "Ġaats": 191, | |
| "hahl": 192, | |
| "un": 193, | |
| "waa": 194, | |
| "oos": 195, | |
| "Ġanhahl": 196, | |
| "Ġanhahla": 197, | |
| "ĠA": 198, | |
| "Ġneet": 199, | |
| "Ġam": 200, | |
| "akwhl": 201, | |
| "Ġak": 202, | |
| "--": 203, | |
| "Can": 204, | |
| "Dim": 205, | |
| "bi": 206, | |
| "da": 207, | |
| "fl": 208, | |
| "gwaa": 209, | |
| "isxwi": 210, | |
| "ika": 211, | |
| "ja": 212, | |
| "kst": 213, | |
| "lt": 214, | |
| "lst": 215, | |
| "nag": 216, | |
| "pja": 217, | |
| "rain": 218, | |
| "sii": 219, | |
| "ska": 220, | |
| "sgwaa": 221, | |
| "upja": 222, | |
| "yt": 223, | |
| "Ġag": 224, | |
| "ĠCan": 225, | |
| "Ġfl": 226, | |
| "Ġisxwi": 227, | |
| "Ġupja": 228, | |
| "ndoos": 229, | |
| "Ġgi": 230, | |
| "Ġgwil": 231, | |
| "Ġguuhl": 232, | |
| "aahli": 233, | |
| "oodi": 234, | |
| "Ġno": 235, | |
| "anhl": 236, | |
| "anwil": 237, | |
| "anuut": 238, | |
| "anska": 239, | |
| "Ġlip": 240, | |
| "imil": 241, | |
| "niig": 242, | |
| "niisgwaa": 243, | |
| "Ġyuwi": 244, | |
| "Ġandoos": 245, | |
| "gihl": 246, | |
| "Ġky": 247, | |
| "dilhl": 248, | |
| "Ġpol": 249, | |
| "Ġtun": 250, | |
| "Ġtrain": 251, | |
| "Ġsgihl": 252, | |
| "Ġsdilhl": 253, | |
| "Ġyalt": 254, | |
| "insxwi": 255, | |
| "Ġnakst": 256, | |
| "Ġant": 257, | |
| "Ġansii": 258, | |
| "ayoo": 259, | |
| "uxwt": 260, | |
| "Ġaam": 261, | |
| "adanska": 262, | |
| "Ġhlgu": 263, | |
| "Ġxsawi": 264, | |
| "Ġjabi": 265, | |
| "nagwit": 266, | |
| "Ġagwihl": 267, | |
| "ĠCanadanska": 268, | |
| "Ġflika": 269, | |
| "Ġgwila": 270, | |
| "aahlihl": 271, | |
| "anwilat": 272, | |
| "anuutxw": 273, | |
| "Ġandoosda": 274, | |
| "Ġpole": 275, | |
| "Ġyaltxu": 276, | |
| "Ġansiip": 277, | |
| "Hl": 278, | |
| "Nii": 279, | |
| "Oo": 280, | |
| "nim": 281, | |
| "wahl": 282, | |
| "yhl": 283, | |
| "ĠHl": 284, | |
| "ĠNii": 285, | |
| "wii": 286, | |
| "Ġguxw": 287, | |
| "Ġguut": 288, | |
| "aaxhl": 289, | |
| "Ġyuxwhl": 290, | |
| "Ġkw": 291, | |
| "Ġbas": 292, | |
| "inhl": 293, | |
| "ootxwi": 294, | |
| "nisxwi": 295, | |
| "uxwsxwi": 296, | |
| "ilx": 297, | |
| "adaaxhl": 298, | |
| "Ġhlguxwsxwi": 299, | |
| "Ġbagu": 300, | |
| "asinhl": 301, | |
| "Ġamhl": 302, | |
| "ĠHlaa": 303, | |
| "Ġguxws": 304, | |
| "Ġbasax": 305, | |
| ".\"": 306, | |
| "daa": 307, | |
| "ix": 308, | |
| "idaa": 309, | |
| "loohl": 310, | |
| "phl": 311, | |
| "pain": 312, | |
| "sx": 313, | |
| "yim": 314, | |
| "Ġxhl": 315, | |
| "aahl": 316, | |
| "aasx": 317, | |
| "aayim": 318, | |
| "ook": 319, | |
| "Ġhlag": 320, | |
| "Ġhlidaa": 321, | |
| "xwit": 322, | |
| "Ġdok": 323, | |
| "Ġdaayim": 324, | |
| "Ġyuxw": 325, | |
| "Ġaloohl": 326, | |
| "Ġbax": 327, | |
| "Ġbaasx": 328, | |
| "Ġligit": 329, | |
| "Ġjok": 330, | |
| "Ġsg": 331, | |
| "Ġsi": 332, | |
| "ĠSpain": 333, | |
| "nakwhl": 334, | |
| "Ġhehl": 335, | |
| "Ġhediit": 336, | |
| "diithl": 337, | |
| "witxwit": 338, | |
| "Ġjaphl": 339, | |
| "nithl": 340, | |
| "ytxwhl": 341, | |
| "Ġxhlii": 342, | |
| "Ġdaayimaahl": 343, | |
| "Ġyuxwdiithl": 344, | |
| "Ġbaasxi": 345, | |
| "Nakwhl": 346, | |
| "gwi": 347, | |
| "ukwhl": 348, | |
| "yukwhl": 349, | |
| "ĠAk": 350, | |
| "ĠAgwi": 351, | |
| "ĠAgwiyukwhl": 352, | |
| "BM": 353, | |
| "De": 354, | |
| "Gi": 355, | |
| "IBM": 356, | |
| "aw": 357, | |
| "ail": 358, | |
| "ce": 359, | |
| "ff": 360, | |
| "gee": 361, | |
| "it": 362, | |
| "iwaa": 363, | |
| "ice": 364, | |
| "jit": 365, | |
| "ljit": 366, | |
| "mar": 367, | |
| "mail": 368, | |
| "nmar": 369, | |
| "oxs": 370, | |
| "off": 371, | |
| "si": 372, | |
| "wan": 373, | |
| "way": 374, | |
| "yo": 375, | |
| "ĠDe": 376, | |
| "ĠGi": 377, | |
| "ĠIBM": 378, | |
| "Ġmail": 379, | |
| "Ġoff": 380, | |
| "niiwan": 381, | |
| "niiyo": 382, | |
| "xsiwaa": 383, | |
| "Ġsaw": 384, | |
| "nix": 385, | |
| "Ġwok": 386, | |
| "atdiit": 387, | |
| "̲.\"": 388, | |
| "oosun": 389, | |
| "ĠAp": 390, | |
| "Ġamxsiwaa": 391, | |
| "Ġaks": 392, | |
| "geenix": 393, | |
| "nmark": 394, | |
| "oxsxw": 395, | |
| "wayi": 396, | |
| "ĠDenmark": 397, | |
| "ĠGigeenix": 398, | |
| "Ġoffice": 399, | |
| "Ġsawatdiit": 400, | |
| "ytxw": 401 | |
| }, | |
| "merges": [ | |
| "s t", | |
| "n d", | |
| "a r", | |
| "e nd", | |
| "Ġ <", | |
| "st ar", | |
| "star t", | |
| "h l", | |
| "Ì ²", | |
| "w i", | |
| "i i", | |
| "Ġ g", | |
| "a a", | |
| "o o", | |
| "Ġ n", | |
| "Ġ wi", | |
| "Ġ '", | |
| "Ġ ii", | |
| "a n", | |
| "Ġ y", | |
| "Ġ l", | |
| "I i", | |
| "Ġ Ii", | |
| "oo hl", | |
| "e e", | |
| "i m", | |
| "Ġwi l", | |
| "Ġ h", | |
| "w hl", | |
| "Ġ hl", | |
| "a g", | |
| "d ii", | |
| "n ii", | |
| "t s", | |
| "x wi", | |
| "Ġ d", | |
| "Ġh a", | |
| "u u", | |
| "Ġn ee", | |
| "x s", | |
| "Ġy u", | |
| "Ġ a", | |
| "i p", | |
| "k whl", | |
| "wi hl", | |
| "g i", | |
| "Ġ k", | |
| "x w", | |
| "' m", | |
| "Ġ xs", | |
| "Ġd im", | |
| "Ġnee dii", | |
| "i gi", | |
| "Ġ b", | |
| "Ġl igi", | |
| "Ġwil i", | |
| "d i", | |
| "Ġ j", | |
| "Ġ p", | |
| "Ġ t", | |
| "Ġwi hl", | |
| "s xwi", | |
| "Ġ s", | |
| "Ġy a", | |
| "i n", | |
| "Ġhl aa", | |
| "Ġn a", | |
| "Ġ an", | |
| "a x", | |
| "a y", | |
| "a hl", | |
| "oo t", | |
| "n i", | |
| "o l", | |
| "Ġyu kwhl", | |
| "Ġn ii", | |
| "Ġn aa", | |
| "Ġwil p", | |
| "ip e", | |
| "Ġp ipe", | |
| "u xw", | |
| "ts hl", | |
| "Ġya tshl", | |
| "Ġ S", | |
| "n a", | |
| "hl i", | |
| "Ġ aa", | |
| "Ġneedii t", | |
| "Ġ \"", | |
| "̲ '", | |
| "i l", | |
| "Ġ w", | |
| "Ġy ee", | |
| "Ġl oot", | |
| "a t", | |
| "c k", | |
| "h ol", | |
| "k a", | |
| "l hl", | |
| "o ck", | |
| "t ock", | |
| "y a", | |
| "wi l", | |
| "Ġg ya", | |
| "Ġii n", | |
| "Ġl uu", | |
| "uu hl", | |
| "ĠS tock", | |
| "hol m", | |
| "ĠStock holm", | |
| "a d", | |
| "l s", | |
| "x u", | |
| "Ġ ts", | |
| "hl a", | |
| "Ġwi na", | |
| "Ġhl g", | |
| "Ġha hla", | |
| "uu t", | |
| "Ġb ag", | |
| "ay t", | |
| "Ġw ag", | |
| "ls di", | |
| "a s", | |
| "o k", | |
| "Ġh e", | |
| "dii t", | |
| "a in", | |
| "wi t", | |
| "Ġxs a", | |
| "Ġxs i", | |
| "Ġj a", | |
| "ni t", | |
| "x hl", | |
| "x whl", | |
| "ii hli", | |
| "Ġg iihli", | |
| "Ġl ax", | |
| "a k", | |
| "̲ .", | |
| "ee k", | |
| "Ġa p", | |
| "Ġxs eek", | |
| "Ġj i", | |
| "Ġaa ts", | |
| "h ahl", | |
| "u n", | |
| "w aa", | |
| "oo s", | |
| "Ġan hahl", | |
| "Ġanhahl a", | |
| "Ġ A", | |
| "Ġnee t", | |
| "Ġa m", | |
| "a kwhl", | |
| "Ġa k", | |
| "- -", | |
| "C an", | |
| "D im", | |
| "b i", | |
| "d a", | |
| "f l", | |
| "g waa", | |
| "i sxwi", | |
| "i ka", | |
| "j a", | |
| "k st", | |
| "l t", | |
| "l st", | |
| "n ag", | |
| "p ja", | |
| "r ain", | |
| "s ii", | |
| "s ka", | |
| "s gwaa", | |
| "u pja", | |
| "y t", | |
| "Ġ ag", | |
| "Ġ Can", | |
| "Ġ fl", | |
| "Ġ isxwi", | |
| "Ġ upja", | |
| "nd oos", | |
| "Ġg i", | |
| "Ġg wil", | |
| "Ġg uuhl", | |
| "aa hli", | |
| "oo di", | |
| "Ġn o", | |
| "an hl", | |
| "an wil", | |
| "an uut", | |
| "an ska", | |
| "Ġl ip", | |
| "im il", | |
| "nii g", | |
| "nii sgwaa", | |
| "Ġyu wi", | |
| "Ġa ndoos", | |
| "gi hl", | |
| "Ġk y", | |
| "di lhl", | |
| "Ġp ol", | |
| "Ġt un", | |
| "Ġt rain", | |
| "Ġs gihl", | |
| "Ġs dilhl", | |
| "Ġya lt", | |
| "in sxwi", | |
| "Ġna kst", | |
| "Ġan t", | |
| "Ġan sii", | |
| "ay oo", | |
| "uxw t", | |
| "Ġaa m", | |
| "ad anska", | |
| "Ġhlg u", | |
| "Ġxsa wi", | |
| "Ġja bi", | |
| "nag wit", | |
| "Ġag wihl", | |
| "ĠCan adanska", | |
| "Ġfl ika", | |
| "Ġgwil a", | |
| "aahli hl", | |
| "anwil at", | |
| "anuut xw", | |
| "Ġandoos da", | |
| "Ġpol e", | |
| "Ġyalt xu", | |
| "Ġansii p", | |
| "H l", | |
| "N ii", | |
| "O o", | |
| "n im", | |
| "w ahl", | |
| "y hl", | |
| "Ġ Hl", | |
| "Ġ Nii", | |
| "wi i", | |
| "Ġg uxw", | |
| "Ġg uut", | |
| "aa xhl", | |
| "Ġyu xwhl", | |
| "Ġk w", | |
| "Ġb as", | |
| "in hl", | |
| "oot xwi", | |
| "ni sxwi", | |
| "uxw sxwi", | |
| "il x", | |
| "ad aaxhl", | |
| "Ġhlg uxwsxwi", | |
| "Ġbag u", | |
| "as inhl", | |
| "Ġam hl", | |
| "ĠHl aa", | |
| "Ġguxw s", | |
| "Ġbas ax", | |
| ". \"", | |
| "d aa", | |
| "i x", | |
| "i daa", | |
| "l oohl", | |
| "p hl", | |
| "p ain", | |
| "s x", | |
| "y im", | |
| "Ġ xhl", | |
| "aa hl", | |
| "aa sx", | |
| "aa yim", | |
| "oo k", | |
| "Ġhl ag", | |
| "Ġhl idaa", | |
| "xwi t", | |
| "Ġd ok", | |
| "Ġd aayim", | |
| "Ġyu xw", | |
| "Ġa loohl", | |
| "Ġb ax", | |
| "Ġb aasx", | |
| "Ġligi t", | |
| "Ġj ok", | |
| "Ġs g", | |
| "Ġs i", | |
| "ĠS pain", | |
| "na kwhl", | |
| "Ġhe hl", | |
| "Ġhe diit", | |
| "diit hl", | |
| "wit xwit", | |
| "Ġja phl", | |
| "nit hl", | |
| "yt xwhl", | |
| "Ġxhl ii", | |
| "Ġdaayim aahl", | |
| "Ġyuxw diithl", | |
| "Ġbaasx i", | |
| "N akwhl", | |
| "g wi", | |
| "u kwhl", | |
| "y ukwhl", | |
| "ĠA k", | |
| "ĠA gwi", | |
| "ĠAgwi yukwhl", | |
| "B M", | |
| "D e", | |
| "G i", | |
| "I BM", | |
| "a w", | |
| "a il", | |
| "c e", | |
| "f f", | |
| "g ee", | |
| "i t", | |
| "i waa", | |
| "i ce", | |
| "j it", | |
| "l jit", | |
| "m ar", | |
| "m ail", | |
| "n mar", | |
| "o xs", | |
| "o ff", | |
| "s i", | |
| "w an", | |
| "w ay", | |
| "y o", | |
| "Ġ De", | |
| "Ġ Gi", | |
| "Ġ IBM", | |
| "Ġ mail", | |
| "Ġ off", | |
| "nii wan", | |
| "nii yo", | |
| "xs iwaa", | |
| "Ġs aw", | |
| "ni x", | |
| "Ġw ok", | |
| "at diit", | |
| "̲. \"", | |
| "oos un", | |
| "ĠA p", | |
| "Ġam xsiwaa", | |
| "Ġak s", | |
| "gee nix", | |
| "nmar k", | |
| "oxs xw", | |
| "way i", | |
| "ĠDe nmark", | |
| "ĠGi geenix", | |
| "Ġoff ice", | |
| "Ġsaw atdiit", | |
| "yt xw" | |
| ] | |
| } | |
| } |