Noto(52)45この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。Sparkによる実践データ解析を株式会社三菱UFJトラスト投資工学研究所の阿部一也様から弊社に寄贈いただきました。一通り読んだ感想としては、SparkのMLlibを利用を検討している方は間違いなく読んだ方がいいですし、MLlibの利用予定はなくとも機械学習でどんなことが出来るのか興味を持っている方にもおすすめできる内容かと思います。本書の特によいと思った点はモデルの構築と評価だけでなく、データクレンジングやデータの探索、ハイパーパラメータの選択についても触れている点です。統計や機械学習の理論面は概要に留め、利用事例毎にどのようなコードを書けばよいかがその理由と共に載っているため、自分で実際に各種手法を利用する際の参考になります。扱っている分野(事例)が幅広いため、自分が興味を持っている章のみ読むという読み方でもよいかと考えます。本書をどういう意図で企画したかとか、Sparkの簡単な紹介が載っています。数ページですので、目を通した方がよいかと考えます。ScalaとSparkによるデータ分析の紹介Sparkの説明と本書で利用するScalaの構文に関する解説です。コンパクトにまとまっていますし、書籍内で示されるコードを読む上では目を通した方がよいかと考えます。ALS)によるレコメンデーションエンジンの構築方法について説明しています。評価指標であるAUCの算出方法や交差検証のやり方、ハイパーパラメータが紹介されています。ハイパーパラメータをどのように選択していくかについてのコードとその解説が述べられています。決定木とランダムフォレストを用いた多項分類の実装例です。Covtypeデータセットに対してまず決定木を用いて分類を実施し、次にランダムフォレストを適用します。その中で分類と回帰/ベクトル/質的特徴/量的特徴/one-hotエンコーディング/混同行列などを紹介しています。K平均クラスタリングを使ったネットワークトラフィックにおける異常の検出K平均法によるクラスタリングの実装例です。1999データセットにK平均法を適用して異常なトラフィックを検出可能なモデルを作成します。その中でRによる可視化と特徴の正規化なども紹介しています。異常の検出にクラスタリングを利用できるというのは知らなかったので面白かったです。LSA)を適用します。XMLから記事の抽出、レンマ化、TF-IDFの計算、特異値分解(SVD)(とセットで次元圧縮)を行い、実際にクエリを発行する所まで紹介されています。GraphXを使った共起ネットワークの分析MLlibではなくGraphXというグラフ処理フレームワークを利用したネットワーク分析の実装例です。MEDLINEのXMLから引用情報(MeSH)を抽出し、GraphXを用いて共起グラフを構築して、ネットワークの分析を実施します。具体的には次数分布にカイ二乗検定を適用しグラフのフィルタリングを行います。APIの利用例としてノード群の平均パス長を計算しています。グラフ処理の具体的な分析事例は知らなかったので面白かったです。履歴データと地理空間データの分析例です。ニューヨーク市のタクシーの乗降データとニューヨーク市の行政区地図のGeoJSONデータを使って、タクシーの運転手が乗客を下ろした行政区と次の乗客を捕まえるまでにかかった時間との関係性を調査します。APIとSprayを利用しています。データを運転手毎に時系列にまとめるためのセッション化の実装方法についての解説もあります。モンテカルロシミュレーションによる金融リスクの推定モンテカルロシミュレーションの実装例です。株価の履歴データとリスクファクターからVaRを算出します。Mathを利用しています。ゲノムデータの分析とBDGプロジェクトゲノム分析のプラットフォームであるADAMの紹介です。ADAMはSparkとAvroとParquetを利用しており、本説ではAvroとParquetについても解説しています。そのため、ゲノムデータ分析に関わらない方であっても、Spark上でのAvroとParquetの利用方法について理解する目的で読むと良いのではないかと考えます。大量の空間/時系列データセットをSparkで処理するためのPythonのツールセットであるThunderの紹介です。PySpark上でThunderのチュートリアルであるゼブラフィッシュの脳画像データをK平均法用いてクラスタリングします。PySparkの利用方法について理解する目的で読むと良いのではないかと考えます。本編の他に付録が4つあります。最後にご購入される方は以下のリンクをご利用下さい。オライリーのサイトからはEbook版を購入することも可能なようです。脚注1月末には寄贈いただき、2月中旬には読み終わっていたのですが、ブログを書くことが遅くなり申し訳ございません。520,223大規模データ処理とか機械学習周りに興味があります。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。使いたいときの注意点を書きました。本が出ていたので読んでみたところよかったので紹介させていただきます。