kingabzpro
commited on
add LM preprocessing
Browse files- alphabet.json +1 -1
alphabet.json
CHANGED
@@ -1 +1 @@
|
|
1 |
-
{"labels": [" ", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "
|
|
|
1 |
+
{"labels": [" ", "(", "[", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "á", "é", "ł", "ń", "–", "\u00e9", "", "<s>", "</s>"], "is_bpe": false}
|