「∞-gramを使った短文言語判定」について発表してきました。素晴らしい機会をいただいてありがとうございました。その時の資料を公開します。言語処理学会2012@広島市大で発表したものをちょっと丁寧に+αした感じ。向けのセミナーで発表してみませんかとお話をいただいて、「ぜひやります」と二つ返事でお引き受けしたものの、本当に中谷でいいんだろうかーとあとから心配になったのはないしょw小町さんからは、機械学習や自然言語処理を実応用で使っているエンジニアの立場、というところを学生さんに聞いてもらいたいというところと、言語好き押しで、という指針をいただいていた。いつもどおりでいーんだな、と理解していつもどおりのノリで発表したら、学生さんに書いていただいた感想票に「いつもの普通のセミナーと違って笑いもあってよかった」とか書かれてあった。反省点としては、用意していった資料では機械学習まわりの説明がほぼゼロに近くて、演壇に立った瞬間に、まずい、聴衆層を読み違えてた、と気づいたものの後の祭り。んーでも機械学習の話に時間を取られると、ルーマニア語の話とかトルコ語の話とかベトナム語の話とかペルシャ語の話とかが削られてしまっただろうから、いいということにしよう。資料は英語だが、発表は日本語で行った。この資料の英語はきっとあちこち間違っている。これはひどいというのがあればご指摘いただけると嬉しい。海外からの留学生や研究者の方もいらっしゃるだろうから、ということもあるけど、もう一つ、どんなにつたなくても英語で発信すれば多くの人に見てもらえるから。資料の英語版はこれまでに8500回以上閲覧されている。その資料を使った発表など一度もしたことがなく、ただ公開しているだけなのに。あとはセミナーに参加して下さった学生さんからいただいた感想票から、質問的な項目について簡単にフォロー。[その言語のラベルを持つ件数]。方言の違いも抽出できる?データが非常に多くあればできる可能性はあるが、難易度は高いと思う。ノルウェー語とデンマーク語は、綴り的には方言みたいな......などと言うと各方面で怒られそうなのでやめておこう。向上するのとでは全く意味が違うので。略語には流行り廃りがあるので、定期的に学習データの更新をする必要があるかもしれない同意。テキストの内容に従ってジャンル分けを行う問題などに比べれば、言語判定のモデルの寿命はずっと長いだろうと推測。的な手法と組み合わせたりして、楽ができるようになれば嬉しい。文字コードもペルシア語とアラビア語で異なりますありがとうございます。代用する運用が広まり、現在もそれらの混用が続いてしまっているというのがポイント。ついてはそのような混用が起きているのか把握してなかった。アラビア語ではペルシャ語由来の単語でたまに使われている程度の使用頻度なのかなあ(間違ってたらごめんなさい)、だからそれを正規化しなくても精度に目に見える影響はなかったのかな、と今のところ推測。言語のデータ量が増えることにより似通った言語が増加し、判断が難しくならないのか現在サポートしている言語の中では、ノルウェー語とデンマーク語は綴り上は非常に似通っているため、これらの間での誤判定は非常に多い。サポートしていない言語にも、オランダ語とアフリカーンス、インドネシア語とマレー語、クロアチア語とセルビア語(および、その他旧ユーゴスラビア系の言語のラテン文字表記)はそれぞれ非常によく似ているので判定が難しい。くだけた表現が頻出するメディア上では顕著すぎるくらい)、これらの判定は難しい。データベースを作るときに個々の知識量が影響する?めっちゃする。コーパスでも、ノルウェー語とデンマーク語のデータはおそらくかなりの割合で間違いが含まれているはず。カタルーニャ語のコーパスを用意し始めるまで、それまでスペイン語やフランス語として作っていたコーパスに大量にカタルーニャ語が混じっていたことに全然気づかなかった。iVocaプログラミングまんがプロフィールid:n_shuyoはてなブログをはじめよう!n_shuyoさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。