"データマイニング技術"225月,20160投稿者:クレジットカード取引パターンの広域な監視システムの確立を報道されているように15日、日本国内でクレジットカードの広域な一斉不正使用事件が発生しました。報道によると17都道府県の約1400台のATMから一斉に総額14億4000万円が不正に引き出されたとのことです。2時間半の間に100人以上の犯人グループが各地で一斉に引き出したと見られています。犯人グループが100人として、単純計算で1人1400万円を2時間半の間に14台のATMを回って引き出したことになります。カードの利用枠が100万円なら、1人たったの14枚のカードです。考えるととても簡単です。今のところATMは暗証番号さえ正しければ、お金を吐き出してしまいます。考えられる1つの対策としては、少なくともICカード化して偽造カードを簡単に作れないようにするということがあります。セキュリティを確実にするには、暗証番号ではなく、指紋や虹彩などの生体認証が必要とされます。これらはすべてのカード、すべてのATMを新しい技術に置き換えないと確実な効果が期待できないという欠点があります。そこで当面、急がれるのは、広域な取引のリアルタイム監視ではないかと考えます。機械学習を使って不正検出を行うというのは、国内でも当然行われているはずですが、基本的に個別のカードごとに不審な取引パターンがないかを見ているのではないかと思われます。それでは今回のような大掛かりな(テロとさえ呼べる)犯行には対処できないでしょう。今回のような事件が起きた場合、被害を全くゼロにすることはできなくても、1分1秒でも早く異常に気付いて、危険にさらされているサービスを速やかに停止するということが求められます。システムの全体的な挙動(状態遷移)をリアルタイムに監視する必要があります。ATMはいくつかのサービスを提供しているわけですから、通常は、利用者ごとにさまざまなサービスが利用されているはずです。曜日や時間帯、あるいは月末などの時期によって、どのサービスがよく利用されるというパターンがあるでしょう。そのような多変量な値の時間的変化のパターンを状態遷移と呼ぶことができます。今回の手口が使われた場合、不正なトランザクションが全体からみて誤差の範囲として見捨てられてしまう可能性が高いです。個々のトランザクションで大金の引き出しがあったからと言って、それを即不正とみなすことはできません。それを「注目すべきイベント」としてフラグを立てることはできるでしょう。不正が起きていないときでも、システム全体では常にあちこちでフラグが立っている状態になるでしょう。その時間的な出現パターンが通常であるか異常であるかを判断する判断するシステムを構築しなければなりません。現状でもある程度されているのかもしれませんが、その性能を高める必要があります。弊社が提供するデータマイニング技術は、とくにこのようなシステム監視の問題を解決するのに威力を発揮します。週明け早速、海外の技術協力会社とこの件についてディスカッションする予定です。28月,20150投稿者:SOMデータマイニングの真実SOM研究とViscoveryの記事が長文過ぎて伝わりにくいかと思い、もう少し簡潔な表現をしてみます。SOMは多次元(多変量)データの理想的なモデリング基盤として使用できます。クラスタリング、クラス分類、非線形モデルのための基盤提供など、幅広い活用を可能にします。その意味で、多変量解析の文脈で捉えることもできます。SOMを主成分分析やクラスタ分析などと並ぶような多変量解析手法の1つと捉えるべきだということではなく、むしろ、既存の手法とSOMを組み合わせることで、それらの手法を強力化するターボチャージャーのようなものです。SOMは既存の手法と競合したり、置き換わったりするものではありません。それどころか、SOM単体では精緻な分析にはなり得ません。(この段階で間違った方向に行ってしまっている研究があまりに多いです。)しかし、SOMは複雑なデータを大局的に整理しなおすことで、難しかった分析を簡単にしてくれたり、新しい創造の糸口を提示してくれます。総合的なデータマイニング・システムでも、KohonenのSOMアルゴリズムは搭載されていますが、単体のアルゴリズムのレベルで実装されているので、ほとんどのユーザーには実践的な活用は閉ざされたままです。1つ世間では重大な誤解があります。データマイニングでは、バッチ学習アルゴリズムを使用するべきですが、残念なことに、SOMの学術研究の情報がノイズとなって、長年にわたってユーザーを惑わせ続けてきました。SOMの学術研究では、いかにSOMのノードがランダムな状態から、(SOMの)格子がもつれたりせずに自己組織化的に秩序を獲得するか、ということに重点を置いた研究がなされてきました。それはデータマイニングとはまったく関係のないことです。そんなことでデータマイニングの(統計的な)性能が向上したりはしません。実用上は、ランダムな状態から学習するSOMなんて必要がないからです。不幸なことに国内のSOMの研究者の中には、伝統的な統計解析の知識も乏しく、またデータマイニングでのSOMに関するさまざまなテクニックを理解しないまま、海外で15年も20年も前に研究されたSOMアルゴリズムの変形をまだ研究している人がいて、その成果を大げさに発表している場合があります。この手の研究室で開発されたソフトウェアの出来は、見るも無残なほどチープな出来です。そんな学術情報に惑わされると、10年単位で大きな時間のロスになります。SOMのバッチ学習アルゴリズムと伝統的な統計解析の両方について熟知して、それらを組み合わせた新しい分析手法を本格的に実装できているのは、これまでの20年間、世界中でViscoveryのみです。※この記事は古い記事ですが、アクセスが多いので書き換えさせて頂きます。(2016.6.10)弊社ブログのログを見ると表題のキーワードでの検索が目立ちます。SVM(サポートベクターマシン)もSOM(自己組織化マップ)もExcelそのものでは計算できませんが、ExcelのアドインやExcelのデータファイルを使用できるソフトウェアはあります。SVMの計算ができるExcelアドインは、現在XLSTATのみです。Builderをあげておりましたが、現在はこの製品は販売されておりません。Builderは、SVMを含む11種類のアルゴリズムにより、予測・分類モデルを自動生成する世界で初の製品でした。Analyticsが実現しております。現在、同社は、単なるモデルの自動生成のレベルは卒業して、小売業向けとエアライン向けの特定業種ソリューションに形を変えております。Builderは、自動でモデル作成・評価を行い、アルゴリズムの選択、およびアンサンブル予測モデルの構築(複数モデルによる予測性能の向上)を行っていました。短時間で数1000個以上ものモデルを検討して、最も予測性能のよいモデルを見つけていました。DataRobotよりも先行です。SOMineがお薦めです。これは単独のWindowsアプリケーションですが、ExcelファイルからSOMのモデルを作成できます。そのほかにもテキスト・ファイル(タブ区切り、スペース区切り)が取り扱えます。SPSS(.sav)のオプションもあります。じつは、パッケージ製品としては販売していないのですが、Viscoveryの機能を既存のシステムに組み込むためのモジュールは、個別に提供しております。Excelのアドインとして動作するSOMも(必要があれば)提供可能です。パッケージではなく個別受注です。日本の電機メーカーが半導体や液晶の歩留まりが上がらずに喘いでいます。どこに問題があるのか?ズバリ言うと、データマイニングへの対応の遅れだと思います。現在の半導体や液晶の製造工程は、極めて高度に微細化・複雑化しており、製造プロセスでの制御因子が数千個から1万個のオーダーに達しています。QCサークルなどはもちろん、タグチメソッドのような品質工学も遠く及ばない領域に達しているのです。日本のメーカーは、これらに代わる新世代の科学的手法の導入に遅れをとってしまったようです。データマイニングなら何でもよいわけではありません。一般的に販売されているデータマイニング・ツールでは、数千個もの説明変数を用いて最適化モデルを作成できるような手法は提供されていません。このまま行けば、たぶん日本の電子産業は終焉の時を迎えてしまいます。日本の電子産業が滅ぶとしたら、それは優秀な技術者を厚遇して来なかったことへの報いとして受け止めざるを得ないでしょう。それはそれで運命かも知れません。少数でも、ものの道理のわかる技術者が残っているのなら、日本の未来を取り戻すために、今起ち上がって欲しいものです。マインドウエア総研は、そのためのお手伝いができます。1日も早くご相談ください。今年2012年は、Kohonen先生が自己組織化マップ(SOM)を考案してから30年目にあたります。Kohonen先生の業績の偉大さは、さまざまな亜種を考案することが可能なSOMの大元のアイデアを考案したことにあります。その10年後の1992年にSOMのバッチ学習アルゴリズムが発表され、統計的応用の可能性が出てきて、Kranner氏とSixt氏が統計的見地からSOMを再構築して、1994年から資本投入してEudaptics(現在のViscovery)社を設立し、本格的な規模でSOMineの開発を開始しました。1997年頃には、その技術がほぼ完成しており、私がSOMineを日本語化して国内で売り出したのが2000年のことでした。それからでも、もう干支が一回りしたことになります。それにしても「自己組織化マップ」というネーミングは(良い意味でも悪い意味でも)強烈です。SOM!”ときっぱりと断言したことは、今でも印象深く記憶に残っています。彼が言いたかったことは、「SOMのアルゴリズムが、自己組織化やっているなんて俺は信じていないよ」ということだと思います。その背後には、SOMに関わる人々の中には、SOMを宗教のように崇拝していてあまり科学的とは言えない状況がある(たとえば統計学的にはトンデモだったりすることがある)ことへの批判が込められていたように感じます。いうことなら、私もまったく同感です。90年代に複雑系のブームがあり、ごく一部のまじめな研究のほかに、便乗組のトンデモ研究がはびこった時期がありました。そこから派生して「自己組織化」というキーワードも、魅惑的な言葉の魔術として、トンデモ研究によく利用されたものでした。残念ながら自己組織化マップの周辺にも、胡散臭い研究が散見されます。「自己組織化」というネーミングがそういう人たちを寄せつけやすくしたことは否めません。考えてみれば、それは人工ニューラルネットワーク全般にも、同じようなことがあります。人工ニューラルネットワークを利用した予測システムというのは、大企業でもやっていたりするのですが、それを宣伝するときに必ず「人間の脳を模した」という修飾がついていたりします。作っている人たちは、百も承知のはずなのですが、現実には、その言葉通りの人工ニューラルネットワークは1つも存在しません。人工ニューラルネットワークは、データを学習して入力に対して適切な出力を行えるものです。入力に対して出力を返すという機能は、一種の関数だと言えますが、その関数を明確な数式で表さなくてもよいようにできるのが、人工ニューラルネットワークです。(もちろん、計算には数式を使用していますが、数式によって入力と出力の関係を直接記述するのではありません。)自己組織化マップは、多変量データを学習して、データの分布を多数のノード(参照ベクトル)で、離散的に要約するものです。学習の際にノードがばらばらに動く場合は、K-meansというよく知られたアルゴリズムと等価であり、近傍関数によってノードが格子状に結束されて、ノード間の値の変化がスムージングされているものが自己組織化マップです。良質なデータマイニング(Viscovery)では、自己組織化マップがデータ分布のトポロジーを保持していることを利用しています。「位相保持マップ」という専門用語もあるのですが、こちらはあまり知られていません。Maps)と呼ぶことになっています。データマイニングでは、「自己組織化」だから何か良いことがある、ということはまったくありません。要するに、人工ニューラルネットワークにせよ、自己組織化マップにせよ、機械学習アルゴリズムであることには違いがありません。ある種の機械学習アルゴリズムを考案するとき、または学生に教えるときに、発想の拠り所として、つまり、ヒントとして、脳機能とか神経細胞網のメタファーを使用しているだけだとも言えます。人工知能やニューラルネットワークの研究から、私はよく中世の錬金術を思い出します。錬金術は科学的には間違いでした。どのような物質を混ぜ合わせても金は作れません。結果としては、錬金術が現代の化学の礎になったとも言えるでしょう。同様に、コンピュータで人間の知性を表現しようという目論見は、たぶん間違いなのでしょう。錬金術から化学へと同様、怪しげなところから何か役に立つ新しいものが生まれてきたりします。データマイニングや意思決定支援システムなどは、結局、そういうところから生まれて来たんだなあ、と感慨に耽る次第です。Inselberg教授からメールが来ました。平行座標法の考案者として有名なビッグネームです。Applications”という本を9月にSpringerから出されるそうです。予約受付されており、PDF/HTML版もインターネットから利用できるようです。http://www.springer.com/math/cse/book/978-0-387-21507-5それで先生からの提案なんですが、Parallaxという先生が開発した平行座標法のソフトウェアを、この本の購読者にお安く提供しましょう、ということです。ご希望の方は、マインドウエア総研までお問い合わせください。平行座標法は、多次元データの可視化からスタートしたアイデアで、デカルト座標に匹敵する発明だとも言われ、最近ではパターン認識(クラス分類)への応用も可能になっています。平行座標法を搭載した市販ソフトウェアもありますが、それらは単に図として平行座標が表示されるようなもので、オリジナルの平行座標の本当の価値には迫られていないようです。オリジナルの平行座標、すなわちParallaxではインタラクティブな操作で探索的マイニングが可能です。この機会に平行座標法を検討してみられてはいかがでしょうか。2019.4.1がリリースされました。2019年9月27日XLSTATはクレジット決済により10%お得になります。