$shibayu36->blog;読者になる$shibayu36->blog;株式会社アンドパッドでエンジニアをしています。プログラミングや読書のことなどについて書いています。技術評論社Amazon検索エンジン自作入門を見ていて、WikipediaのXMLデータから文書を1000件含むXMLファイルを作成するワンライナーが出てきて、非常に勉強になったのでメモ。1000.xmlなぜこれで出来るのか一つずつ実行してみる。jawiki-latest-pages-articles.xml上のコマンドの意味は-mは何件ヒットするまでgrepを続けるか。1000で1000件ヒットするまでgrepを続ける-nでヒットした行番号を出力してくれるWikipediaの文書は...で囲まれているので、''を探すと、それぞれの文書の最後の行位置が分かるというわけで実行すると次のように表示される。</page>となる。1235491とpageの閉じタグが1000回目に出てくる行数が出力される次にこの出力を以下のコマンドに入力する。jawiki-latest-pages-articles.xmlで、1000文書が含まれるXMLを出力できることになる。XMLとしてvalidなものが出力されるわけではないが、この本ではgrepの速度と全文検索エンジンの速度差を求めたいだけなので、このくらいで十分という感じだった。まとめワンライナーは奥が深い。2リンクプライバシーポリシーはてなブログをはじめよう!shiba_yu36さんは、はてなブログを使っています。ブログを報告する引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。