著作権切れあるいは著作権のないテキストの一大データベース。主にはやはり英語だが、他の諸言語のデータもそこそこある。このテキストはまるっと自由に使えるので、文章解析などをやるには宝の山。肝心のテキストの前後にヘッダやフッタや、とにかく様々な情報がくっついているのが、かなり難。ある程度書式を決めといてくれれば良かったのに*1、誰もが自由気まま勝手に制作していて、めっちゃフリーダムでアナーキーなことになっている。区切りのフォーマットがそもそもファイルによってバラバラだし。そんな区切りもあればいい方で、なんの区切りもなく「誰がスキャンしました」だの「間違ってるかもしれないからチェックしてね!」だの書いてあったり、最悪の場合、それが本文と空行1つしかあいてないという。来る、とかいう事態に陥る。青空文庫とかと比べると、日本人はやっぱりそういうところきっちりしているというか、守るし守らせる性格なんだなあ、としみじみ思う。テキストファイルから本文(というか本体かな)を抽出するコードを書いてみた。textend爆発している正規表現の固まりを眺めてみるだけでも、フリーダム万歳っぷりが伝わるだろうか。1行で書いてるからスクロールしないと見えないか。適当に改行を入れるとこんな感じ(下のコードは動きません)。コードだが、そんなにトリッキーなことはしていないので他の言語に移植するのは難しくないだろう。記事とってきて解析したりとか、なんか最近そんなことばかりやってるねー、というあたりは遠からずお見せできるかも?#本文抽出ってどこまでもヒューリスティックできりがないんだけど、文章解析して遊ぶには本文抽出の精度が鍵を握るから手を抜けないんだよねえ。読書会は完了しました。iVocaプログラミングまんがプロフィールid:n_shuyoはてなブログをはじめよう!n_shuyoさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。