文系プログラマによるTIPSブログスマートフォン用の表示で見る文系プログラマによるTIPSブログ文系プログラマ脳の私が開発現場で学んだ事やプログラミングのTIPSをまとめています。solrのインデックス生成が遅いのは形態素解析が遅いのが原因?2013-03-01solrのインデックス生成が遅いのは形態素解析が遅いのが原因?solrTwitterGooglePocket全文検索エンジンのインデックス生成が遅いのはもはや常識ですね。今まではただ漠然と以下を怪しんでいました。形態素解析フィールドに詰め込むデータの量しかしどうでしょう。SQLがヘボいから遅いというのは論外。ORMを使っていてEntityへのマッピングが遅いのも論外。treeのメモ帳この辺がクリアできているとして、じゃあstored/indexedのフィールド数?形態素のデータ量?以前indexedフィールドを0個にして試しましたが、全く速度は向上しませんでした。storedのデータ量?これは多少効果がありました。storedはindexedと違って人間が読める形、つまりマルチバイトになるのでindexedより重いのでしょう。劇的な改善は見込めず。なると形態素解析のフィールドが怪しいわけです。形態素フィールドにindexedするデータ量はインデックス生成の時間に大きな影響を与えます。具体的にどの処理が遅いのか解らないのです。形態素で分割された単語単位のデータの格納が重い?それは考えにくい。それなら単にmultivalueフィールドに沢山データ詰め込んでも同様に遅くなるはず。探りを入れる必要があります。schema.xmlでは形態素解析のフィールドは以下のような感じで定義します。</analyzer></fieldType>さて、トークナイズ(単語分割)が遅いのか、その後の各種フィルタが遅いのか、辞書を引くのが遅いのか。仮にトークナイズが遅いなら、単語をキーに分割後の単語をEHCacheでキャッシュしてしまえば劇的な高速化ができそう?とも考えています。http://treeapps.hatenablog.com/entry/20110908/p1:title:bookmak残念ながらここまでしか検証できていないので、今日はここまでです。Search)をtree-tipsにまとめていきます最近急激に空間検索の需要が伸びている気がします。週間)昔は業務系SIer、今はベンチャー企業でプログラムを書いています。INFILEを実行できるようにするmacのAutomatorでhomebrewのコマンドをFinderのサービスから実行できるようにするReactオススメ書籍React自体の基礎、AtomicDesignの適用、CSSの運用手法の歴史的な経緯とメリットデメリット、Reduxの基礎、redux-sagaによる非同期処理、サーバサイドレンダリング、テスト、lint、を学ぶ事ができます。単行本(ソフトカバー)この商品を含むブログを見るAngularオススメ書籍Angularを学ぶなら絶対以下がおすすめです!バインディング、ディレクティブ、パイプ、フォーム、コンポーネント、サービス、ルーティング、httpClientによる非同期httpリクエスト、テスト、angular-cli、を非常に丁寧な説明で網羅的に解説しています。大型本この商品を含むブログを見るSEOオススメ書籍SEOを学ぶなら絶対以下がおすすめです!クローラに対して何をどうすればサイトの巡回効率・速度を上げる事ができるのか、どういったマークアップをする事が標準仕様なのか。巷に溢れる業者による経験則に基づくオレオレSEO情報は一切無く、全てGoogle等のオフィシャルな情報に基づいて何をすべきか、どんな手段があるのかを解説されています。プログラマな私が業務で行った施策が多く書かれており、プログラマ寄りで高度な内容となっており、巷のビギナー向けの曖昧な情報集とは一線を画しています。Amazonアソシエイト・プログラムの参加者です。reserved.スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。