botに正規表現のuフラグが無いで、とりあえずクロールはしてもらえるようになったuフラグ付きで書かれた正規表現はとても見やすいshokai.icon言語を追加する時に素直に書ける。codepoint指定部分を、サロゲートペアに変換できないだろうか?ちょっと調べるうーん、無理そうshokai.iconなんかもうSafari9とかどうでもいい気がしてきた。unicodeサロゲートペアにマッチする正規表現を作るGooglebotがタイ語・カンボジア語をindexできるようになったhttps://gyazo.com/5a746a08ad322704873204499d4cbce1。