#4MeCabとは?MeCabとは、形態素解析用のエンジンの一つです。オープンソースなので無料です。形態素解析とは、文章を単語(のような)単位に分け、品詞を特定する事です。形態素解析でWebコンテンツに使われている単語を判断し、そこから特徴を判断できるようになります。辞書とは?MeCabは、標準の辞書だけでは解析精度が出ません。解析対象ジャンルの単語(形態素)を集め、そこから辞書を独自に作る事で、解析精度を上げます。代表的な辞書作り方法は?Wikipediaの単語データを辞書に変換する。10時時点)※新語・俗語を含み、毎日増える。https://dumps.wikimedia.org/jawiki/latest/※全記事のタイトルデータ「jawiki-latest-all-titles-in-ns0.gz」を利用する。無料で利用できる事が明示されている。某キュレーションサービスとの対話サポートセンター:WikipediaからMeCab辞書を作って使っています。自分:Wikipedia製のMeCab辞書には『頒布義務』がありませんか?サポートセンター:調査致します。(一ヶ月位)サポートセンター:臨時の辞書ダウンロードページを用意しました。結論Wikipedia製の辞書には『頒布義務』がある!?Q.ただの善意(神対応)では?A.No。外部流出は極力避けます。公式の辞書ダウンロードページを用意する予定だったとの回答を頂いています。BY-SA」のライセンスが適用されるから。BY-SA」とは?BY(クレジット表示)とSA(ライセンス継承)を義務とするライセンスです。・二次的著作物を作成することができます。あなたの従うべき条件は以下の通りです。あなたは原著作者のクレジットを表示しなければなりません。あなたがこの作品を変形や改変したり、この作品に基づいた作品を作る場合、あなたは全く同じか、同一もしくは互換性のある許諾条件でその作品を頒布しなければなりません。あなたがこの作品を変形や改変したり、この作品に基づいた作品を作る場合、あなたは全く同じか、同一もしくは互換性のある許諾条件でその作品を頒布しなければなりません。著作権Q.著作権はデータに適用されない。Wikipediaの単語データはデータである。ライセンスを守らなくて良いのでは?A.No。複数のデータ(datum)には適用される可能性がある。データを特定のテーマに従って整理したものは適用される可能性が高い。その他の集合物であって、それらの情報を電子計算機を用いて検索することができるように体系的に構成したもの。BY-SA」では編集物が保護されない。単語データは編集物にあたるのでは?A.No。「本作品全体が変更無く含まれ」るものです。単語データを辞書に変換する時に、その条件をクリアできません。集合的な全体へまとめられているものをいいます。編集物を構成する作品はこのライセンスの目的において(前項で定義する意味での)二次的著作物とはみなされません。著作権の例外規定の例外規定が適用されるのでは?A.No。例外規定は検索サービスで紹介するWebコンテンツが対象なので、苦しいと考えます。明確にNoと言えます。明示されたライセンスを守らないのは評判的に良くない。対応案1辞書を頒布する。対応案2Wikipediaをデータ元に使うが、それを公表しない。推奨される対応案Wikipedia以外のデータ元を利用する。(頒布しないなら)Wikipedia以外の単語辞書が推奨される。辞書作りとライセンス問題7,641nezuqWebスクレイピングとか、HackyでDirtyな作業が好き。最近、Tokyo.RやTokyo.Webminingによく出入りさせて貰っています。nezuqNLP、その前に。Linuxコマンドで行うテキスト処理。