一見するとこれらは実現していることがまったく異なりますが,じつはある共通点があります。それは「データを分析し,その結果を活用している」という点です。Amazon」と言い,データの重要性を説きました。事実,Amazonはユーザの購買履歴から商品のレコメンデーションを行い,ユーザのサイト内の遷移履歴やクリック率からサイト構造の改善を行うなど,データを徹底的に活用していることで知られています。最近では「ビッグデータ」という言葉の流行が示すように,大量のデータを分析し,それにより得られる知見を業務に利用する動きが以前にも増して盛んになっています。このような,データを分析することでデータの中から思いがけない発見を得ることを総称して「データマイニング」と呼びます。データマイニングにおける「機械学習」それでは実際にデータマイニングを行うには,どうすればいいのでしょうか。ひと口に「データマイニング」といっても,利用する手法にはさまざまなものがあります。その中でも一番身近なものと言うと,高校や大学でも触れる機会のある「統計学」でしょう。統計学以外にもデータマイニングでよく利用され,かつとても強力な手法があります。それが「機械学習」です。機械学習はもともと人工知能の分野で発達した技術で,その名のとおり,機械(コンピュータ)に学習能力を持たせるための技術です。機械学習は,そのアプローチから大きく2つに分けることができます。教師あり学習1つ目は「教師あり学習」と呼ばれる手法です。お手本となるデータ(これを「教師データ」と呼びます)を用意し,そのデータに沿って,解析対象のデータを判断します。身近な例としては,メールソフトなどで利用されているスパムフィルタがあります。スパムフィルタの場合,スパムメールとスパムでないメールを教師データとしてあらかじめ用意し,それぞれに共通する特徴やパターンを導き出します。新たにメールを受信した場合,教師データから導き出した特徴やパターンをもとに,スパムかスパムでないかを判断します。教師なし学習2つ目は「教師なし学習」と呼ばれる手法です。こちらは,判断するための教師データが与えられません。そのため,解析対象となるデータの中に存在する特徴だけをもとに,データを判断します。身近な例としては,アンケート分析による顧客などのグループ分けがあります。この場合,回収したアンケートの回答内容に存在する特徴を探し出し,その特徴を基準に,顧客を似た者同士のいくつかのグループに分けていきます。このように,機械学習は本来の人工知能の分野だけでなく,その特性を活かしてデータマイニングの分野でも利用されているのです。機械学習を実装する際の問題を解決する「Mahout」このように強力な可能性を秘めた機械学習ですが,ソフトウェアで実現するとなると,いくつか問題点が出てきます。機械学習のアルゴリズムを一から実装するとなると,機械学習のアルゴリズムを細部まで理解しなければなりません。多くの機械学習のアルゴリズムの中から,それぞれの分析に最適なアルゴリズムを選択するためには,実際に分析を行い,その結果をもとに考察を行い,また別のアルゴリズムを試す......といったサイクルを回す必要が出てきます。この過程の中で,多くのアルゴリズムを実装する必要性があり,多くの工数がかかってしまいます。これらの問題を解決するために,最近では機械学習のアルゴリズムを実装したライブラリがいくつか公開されています。Mahout(以下,Mahout)です。Foundationが公開しているOSSの機械学習アルゴリズムのライブラリで,多くのメジャーな機械学習のアルゴリズムが含まれています。現在も活発に開発が続けられており,今後さらにアルゴリズムや機能が追加され,改善されていくと期待されています。このMahoutを利用することで,機械学習の複雑なアルゴリズムを一から実装する必要がなく,「⁠とりあえず分析を行い,その結果から別のアルゴリズムでさらに分析を行う」というサイクルをより速く回すことができるようになります。Hadoopを利用することで分散処理もかんたんに機械学習を利用してデータマイニングを行う場合,分析の対象とするデータが大量であることが多くなります。利用する機械学習のアルゴリズムによっては計算量が非常に多くなるため,処理に時間がかかってしまうことが珍しくありません。そのような問題を解決する手段の1つとして考えられるのが,複数台のマシンに処理を分散することです。Hadoop(以下,Hadoop)を内部で利用していることです。Hadoopにはすでに分散処理の機能が含まれているため,Mahoutを利用すれば,新たに分散処理を実装する必要がないというメリットがあります。最近ではHadoopが普及しはじめており,利用する環境も多くなってきています。Hadoopの利用経験があれば,そのノウハウをMahoutの運用でも活かすことができるのは,実際の運用を考えると非常に魅力的ですね。次回からは,このMahoutを使って,手を動かしながら機械学習を体感していきます。Hadoop著者プロフィールやまかつ(山下勝司)開発/インフラ/統計,機械学習/プロジェクトマネージメントをこなす器用貧乏。最近はビッグデータ,Hadoop,機械学習あたりに夢中。妻と子供と過ごすこと。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。