FutureInsight.infoスマートフォン用の表示で見るFutureInsight.infoAI、ビッグデータ、ライフサイエンス、テクノロジービッグプレイヤーの動向、これからの働き方などの「未来」に注目して考察するブログです。Alpacaからも発表がありますが、これは彼のプライベートモデルです。会社でもプライベートでも予測モデルつくっているってどれだけ好きやねん。Sigmaがkaggleにお題を提供して、マーケット予測が盛り上がっているように、日本でも小さいながらもコミュニティを作っていけたらと思います。技術でもおもしろいネタを定期的に拾って盛り上げていきたいと思います。19:00〜)開催予定Tweet2018-09-22「AlpacaJapanが、三菱UFJ銀行等から総額約7.5億円の資金調達を実施」のTwitterメモAlpacaが7.5億円を三菱UFJ銀行等から調達致しました。ここからガンガンAIとトレーディングの融合領域に全世界のデータサイエンティストを集めて挑んでいきます!人材大募集中です。2018年9月22日Alpacaの特色は大きく2つあって、一つはAIを機関投資家向けの本当に金融のプロフェッショナルが利用する用途(マーケットメイク、プロップ、カバートレード)に絞っていること。AlpacaのディープラーニングエンジンはTickデータのリアルタイム解析を行うのですが、ここにプロフェッショナル向けのサービスを行う強みがあります。将来的にはこの技術で数Tickから数十分というHFTからカバートレードをカバーする領域まで広げていきます。2018年9月22日またプレスリリースに書いたAlpacaRadarという新プロダクトの開発をスタートしています。こちらはAlpacaのAIをいよいよ数日という領域に伸ばすチャレンジです。数日の用途は、機関投資家では先物を使ったヘッジオペレーションなどが該当します。為替の数十分の予測も、先物のヘッジオペレーションのための数日の予測も専門家が聞いたら、それでビジネスを作るなんて頭がおかしいのではないか?というようなチャレンジです。ここにスタートアップの勝機があると考えています。3歳記念イベントで登壇したときの資料です。予測システムをどのように作っているか予測モデルをどのように管理・デプロイしているかマーケット予測でいろいろ気をつけるポイントについて発表しました。#6でも「マーケット予測モデルのPDCAの回し方」というテーマで発表します。時系列解析みたいなことをイベントしてみたいと思っています。最近、ブルームバーグという金融業界のシェアNo.1端末で、いよいよAlpacaのマーケット予測モデルをリアルタイムに閲覧することが可能になりました。www.alpaca.aiスタートアップの醍醐味は、ペインにフォーカスすることにあると思いますが、そういう意味でAlpacaが解決したいペインは「マーケットが予測できない」という、ある意味根源的なペインです。ここに真正面から挑む、ユーザーいんたーねをしながら改善をハイスピードで回す、ブレーキの壊れたスタートアップが世界で一社くらいいてもいいのでは、というのが僕のスタンスで、ひたすらマーケット予測モデルの研究開発を続けています。そんなAlpacaですが、ひさしぶりに採用イベントを開催します。テーマは「大手企業からAIベンチャーへ転職したエンジニア」というとってもマニアックなイベントですが、NextremerのCEOの向井さんと相談して、あえてこのテーマを選んでみました。ai-startups-meetup-vol1.peatix.com今週木曜日というなかなか急なスケジュールですが、まだまだお席にも余裕がありますので、もしAlpacaに興味がある!っていう方はぜひぜひご応募いただければと思います。dotが一般販売開始となったので、お値段が安い+Amazonプライム加入済みということもあり、早速購入してみた。Echoプランにも追加で加入している。Dotプランにシームレスに加入が完了すること。このUXはとてもスマートと感じた。ここで変に一般バージョンをすすめないのが良い。いうか、それ企業にいるとやってしまいがちじゃないですか?アレクサを利用してみた感想としては、良いBluetoothスピーカーさえあれば音楽を楽しむ最もスマートな方法だなーということ。「アレクサ、XXXXをかけて」の1ステップ(声だけなので、感覚的には0ステップ)になってしまったわけだ。「アレクサ、XXXXをかけて」といえば良い。なんとなくAIの進化としてこれほどわかりやすい事例はないのではというくらいスマートな体験だった。音楽以外はアラーム機能は地味に便利。天気機能はスマートフォンでも良いかなという感じもするが、0ステップのUXは強烈だ。あと、この体験をしてしまうと、近い将来どこまでスマートスピーカーが進化すんだろうということも考えてしまう。アレクサのスキルには「タクシーを自宅によぶ機能」があるようだが、この現実に0ステップで介入する部分が進化させるとしたら、なんとなく食事だろうなーと思った。飲食関連のアレクサスキルを眺めると、まだ予約注文程度しかないようだが、「アレクサ、ステーキを届けて」でセントラルキッチン方式でステーキが届く未来は近いと思う。18:30〜OrbのCTOの山田さんとご飯食べている時に、そういえばおなじFintechだし勉強会やりましょうよ、勉強会、という話をしていたら、山田さんがあれよあれよというまに企画していただき勉強会することになりました。connpass.com僕は、いつも、どちらかというと金融機関の皆様を対象にAIのジェネリックな話をするのですが、久しぶりにガチな勉強会なのでガチな話をしようとおもって、今のAlpacaの技術スタックの情報をかき集めています。最近にわかに盛り上がっている時系列データベースですが、AlpacaではMarketStoreと呼んでいるgo言語でフルスクラッチ実装した自社開発の時系列データベースを利用しております。AAPL/5Min/OHLCVのようなSQL構文を発行して、様々な操作を金融時系列に対して実施することができます。実行結果はnumpyバイナリとして出力され、pythonのpandasのデータフレームとしてロードされます。これをChainerなどのディープラーニングのライブラリを通して利用することで、時系列データベースからディープラーニングのエンジンへのデータデリバリーを高速に実現しています。MarketStoreの特色は上記のような柔軟性を保持しつつ極めて高速に動作することです。日本株式3700銘柄に対するある程度の規模のクエリが1秒程度で完了する速度がその強みです。実際、我々の現在のメイン業務である金融の予測システムの構築にはそのクエリ速度がものをいいますから、このようなデータストレージの強みがそのまま予測システムの強みになるように設計をしています。18:30〜Tweet2017-05-20近況報告(2017年5月)なんとか年度末の忙しい時期ものりきり、ブログ書こう書こうと思って、結局前回の投稿から3ヶ月たってしまいました。相変わらず、Alpacaの仕事ばっかりな日々のわけですが、昨日、嬉しい発表をすることができました。www.alpaca.ai以下の発表は昨日MUFGの2017年3月期決算説明会で発表されたIR資料(http://www.mufg.jp/ir/presentation/backnumber/pdf/slides1703.pdf)のP54の内容となります。上の発表については、まだ具体的なことを言えるステージにないのですが、Alpacaのビジネスとしては、明確にディープラーニングをトレーディングに活用する方向にシフトしてます。その理由の一つはトレーディングに対してディープラーニングを適用することは、非常に技術的にエキサイティングであること、また時系列データとの戦いになるので、時系列データストレージをgo言語で独自開発するAlpacaと非常に相性が良いというのがあると思います。シビアに結果を求められる領域ですので、そこの技術開発を疎かにすることはできませんが、一旦技術開発に成功するとトレーディングテクニック自体はワールドワイドで通用するものなので、大きなビジネスチャンスがある市場でもあると考えています。そんな野心的なことを考えると、結局、どれだけ優秀なエンジニアと一緒に技術をとことん追求できるか、ということになるわけで、もちろんAlpacaもエンジニアを大募集しております。www.wantedly.comエンジニアの方で、お話聞いてみたいという方は、Wantedlyでも、twitterで僕に直接メッセージ(https://twitter.com/gamella)でもよいので連絡いただければと思います。Wantedlyでは、DevOpsエンジニア機械学習エンジニアWebエンジニア(フロントエンドもバックエンドも両方やりたい方)を募集しておりますが、何かとことん突き詰めた技術があれば、それがフィットする可能性もありますので、ぜひぜひご連絡ください。16:06近況報告(2017年5月)Tweet2017-02-04近況報告と2016年振り返り2016年は本当にいろいろあった一年で、振り返ってみるとこういう時間を経験するためにスタートアップに入ったのだろうと思いました。そんなAlpacaもJoinしてから1年半がすぎ、去年の3月は1人でやっていた東京オフィスの立ち上げもいまや7人のチームになっています。Alpacaの東京のチームはじぶんでいうのもあれですが、とても楽しく、技術的にも人間的にも素晴らしいメンバーが揃っていて、なんとかこのチームで結果をだしたいと日々もがいているところです。去年を振り返ってみると、いままで気づかなかったことが自分のことが結構あります。営業というのはとてもクリエイティブな仕事だった日本ではやはり金融はエンタープライズビジネスの側面が非常につよいので、この前だしたAlpacaの175万ドルの資金調達のプレスリリースでも書いたとおり、東京はいまエンタープライズでAIをトレーディングに適用する部分に非常に力を入れています。この分野というのは、実際に試したことがある人はほとんどいないので、営業と言っても何か既存のソリューションを販売するというよりは、どの部分にAI(Alpacaでは機械学習+高速データストレージ技術と考えています)を利用するかがずっと重要になってきます。www.alpaca.aiこの時点で、営業の仕事は販売から、如何に一緒にクリエイティブな議論を出来るかになってくるわけです。僕は金融ドメインは専門ではないので、時には鼻で笑われることもおおいのですが、それでも一緒に何かやってみようと言ってくださる方があって、仕事が成立していきます。いう経験は、AI技術がそのドメインに浸透していく、まさにいまのタイミングしか経験できないので、自分にとっても非常に楽しい経験になりました。スタートアップにおけるピッチ大会・アクセラレータについて日本でAlpacaの名前を知ってもらうために2016年はたくさんコンテストにでました。Japan2016で行われたECS(ディープラーニングを活用する企業のピッチ大会)とNRIハッカソン(企業枠で参加)でそれぞれ大賞・企業特別賞をいただきました。何度か経験するうちに、自分もピッチなれしてきて、どういう部分をアピールすればよいのかなど肌で感じて学ぶことができました。Fintechアクセラレータでも準グランプリを取得と出場したコンテストではそれぞれ結果を出すことが出来ました。FintechアクセラレータはAlpacaの方向性を決めたと言っても過言ではないプログラムで、金融ドメインの知識がなかった自分にとっては非常に勉強になりました。www.bk.mufg.jp結構企業主催のアクセラレータに否定的な人もスタートアップ界隈にいたりして、また他のアクセラレータを経験したことがないので比較ができないのですが、このプログラムは本当に素晴らしいプログラムで、金融に少しでも関わる可能性があるスタートアップには全員チャレンジする価値があるといっても過言ではないと思います。技術はあっても、ドメイン知識がないケースで特に向いているとおもいます。Alpacaも大きくなりますそんなわけで、いよいよAlpacaもビジネスの挑戦フェーズに入っていきます。ここからの半年の挑戦で結果がでるかどうか、まさに正念場と言って良い場面で、毎日ヒリヒリした感触を楽しんでいます。そんなAlpacaで、DevOps・バックエンドエンジニア、アプリケーション・フロントエンドエンジニア、機械学習エンジニアを大募集しています。トレーディングという分野は本当にエキサイティングな領域なので、ぜひご興味ありましたらご応募ください。www.wantedly.com僕もここからのAlpacaのチャレンジを楽しんで行きたいと思います。21:44近況報告と2016年振り返りTweet2016-12-31OK、僕らほどじゃないけどどうもAIもいろいろできるようだ相変わらずバタバタとしているのですが、年末にすこしだけ時間を見つけて読みたかったこの本を読んでみた。見るこの本は、社会がどのように変わっていくかを12のポイントでまとめているのだが、「COGNIFYING」の章で、テクノロジーの浸透に関して、そのステップにかんして以下のようなフローの記述があった。ロボットやコンピュータに僕の仕事などできはしない。OK、かなりいろいろとできるようだけれど、僕なら何でもこなせる。OK、僕にできることは何でもできるようだけれど、故障したら僕が必要だし、しょっちゅうそうなる。OK、お決まりの仕事はミスなくやっているが、新しい仕事は教えてやらなきゃいけない。OKわかった、僕の退屈な仕事は全部やってくれ。そもそも最初から、人間がやるべき仕事じゃなかったんだ。以前の仕事はロボットがやっているけれど、僕の新しい仕事はもっと面白いし給料もいい!僕の今の仕事はロボットもコンピュータもできないなんて、すごくうれしい。[以下、これを繰り返す]これまでも上のようなことはたくさんおきてきたが、これからの将来、このような流れがもっとたくさん現れてこれまで「人間の仕事」と定義されていたものがAIやロボットのしごとになっていくと筆者のケヴィン・ケリーはいう。今日の以下のニュースなどはとてもわかり易い例で、この手のデータに近しい部分をAIは人間より上手くやってくれる。このフローのスピードがだんだんあがっていき、おそらく10年後にある仕事は、今存在する仕事からはだいぶ違った形になっていると思う。この「XXを人間ではなくAIにやらせよう」というテーマをどこに当てていくかというのが、僕も2016年の大きな仕事になった。最終的に僕はAlpacaというスタートアップでXXにトレーディングを選んだわけだが、これから5年くらいはAIが社会に浸透していく上でのテーマになっていく。一時期AI界隈で話題になった、日立の汎用AIの動画を見てみよう。News(ワイヤレスワイヤーニュース)僕なんかだと、要はこの動画はIT化すればある程度、業務改善できますよという日立のソリューションを「汎用人工知能」と名前をつけているだけで、そこまで怒らなくてもいいのではと思っていたのだが、丸山先生の言っていることはごもっともである。Watsonがこれに近しい売り方をしていて、IBMの既存ソリューションをWatsonという人工知能ブランドとしてマーケティングしているわけなのだが、IBMは裏に実際にそごいのがあるのかも、、、しれない。この「XXをAIにやらせよう」というのは、ちょっと深掘りするポイントなので、僕の経験もあわせて少し考えてみた。何を学習の元のデータにするつもりなのかまずは「いったい何を学習の元のデータにするつもりなのか」が重要だ。基本的にはディープラーニングを含む機械学習全般はまずデータありきである。なにを利用して学習させるか、そのデータにそもそも抽出・発見できる何かがあるのか、という部分をクリアする必要がある。この部分で、伝統的にIT投資をあまりしてなかったケースが多く、DBとしてこれまでやってきたことを記録していないことが多い。システム部門がプロフィットセンターの意思決定をサポートする気概がない場合、この部分でデータをだすことや、データの保存そのものに問題が多いことが多い。そもそも置き換える仕事はメインのしごとなのか人間の仕事というのは、分解してみるとそのメインのしごとは全体の3割くらいで、じつはほかの7割くらいのことに時間を取られていましたというのは全然珍しくない。Alpacaがやっているトレーディングも、このあたりの問題があって、トレーディングに利用している時間は業務の半分以下で、トラックレコードの記録、顧客対応などトレードの意思決定以外の部分に時間を使っている。ラストワンマイルをクリアできるのかこの場合のラストワンマイルというのは、物理的なラストワンマイルと精神的なラストワンマイルの両方がある。物理的なラストワンマイルは、フローのなかでどうしても物理的な対応が必要だったり、なにか電子化されていない箇所があったり、理由は様々に考えられる。精神的なラストワンマイルは、簡単にいうと抵抗勢力の存在だ。最初に書いたフローのとおり、AIの導入は最初は「OK、かなりいろいろとできるようだけれど、僕なら何でもこなせる。」のステップになるのだから、ここではいくらでも問題点をあげることができる。ここで躓くと多くの場合AIは次の一歩に進めない。置き換えるモノが企業・人間にとってどれくらい割に合わないかそして最後のポイントが置き換えるモノが企業・人間にとって割に合わないかである。簡単にいうと、AIが置き換えるタスクは時間単価が高いほど置き換えるビジネスプライオリティが高い。ここで気をつける必要があるのは、AIは疲れないという点で、たとえば画像認識は人間ならほぼだれでもできるが、これが店舗全体を常に見ているという話になった途端、人間にとってはとてもやりたくない仕事になる。質と量の問題があり、質も重要だが、もし量があることでできることが変わるのであれば、量を積むことで質にすることができる。そんなことをつらつらと考えながら読んだわけですが、2016年はこのあたりでとてもたくさん勉強させてもらいました。2017年はもっともっとこのような問題にぶち当たるとおもうので、一つ一つクリアしていって、AlpacaでもAIをトレーディングの領域に適用していきたいものです。17:00OK、僕らほどじゃないけどどうもAIもいろいろできるようだTweet2016-11-02近況報告とAlpacaで機械学習エンジニアを募集のお知らせブログ書くのも本当に久しぶりです。アルパカにジョインしてから、めっきりブログ更新もできないジェットコースターのような日々を過ごしております。アルパカアルゴとアルパカスキャンという2つの自社プロダクトを開発しつつ、様々な最先端の機械学習を利用したトレーディングの実証実験を様々な金融機関などとやっているというかなり欲張りなことをやっており、特に後者のプロフェッショナル向けソリューションもいよいよ形になってきました。このタイミングで日本語版コーポレートサイトも作成しました。www.alpaca.ai11/1付でバークレイズ証券でマネージング・ディレクターを務めたまさに金融のメンバーも日本代表兼CFOとして参画いただき、いままで自分が日本側で奮闘していた状況から、非常に強力なメンバーが参加してくれたおかげでアクセスをフルで踏み込むことができる状況が整いつつあります。www.alpaca.aiさてさて、久しぶりにブログを書いた理由はシンプルで採用情報のお知らせでございます。アルパカでは、「AIと超高速データストレージを駆使して新しいトレーディングを創る」ことに興味がある機械学習エンジニアを募集しております。超高速データストレージとはアルパカがGo言語を用いて独自開発している超高速時系列データストレージMarketStoreのことです。blog-jp.alpaca.aiトレーディングに機械学習を適用するにあたり、ストレージの役割は非常に明確でどれくらい大量のデータを一瞬で学習済みモデルに渡すことができるか、まさにその部分を支えています。そこにクエリだけで5秒かかってしまうと、それだけで5秒遅れの情報となり、超短期のトレーディング技術としては使い勝手がかなり悪くなると言わざるを得ません。新しい機械学習を用いたトレーディング技術はどれだけ高速な時系列データストレージを持っているかが非常に重要となります。こんな環境で、ディープラーニングを始めとした機械学習技術を用いて、新しいトレーディングを創ることにチャレンジしたい機械学習エンジニアを募集しております。本当にトレーディングは、世界中で技術を競い合っているので、エベレストを登るようなものであり、エンジニアとしても腕がないとそもそも機械学習の機能をシステムを実装することができないのでアプリケーションエンジニアとしても高速なデータ処理を実装した経験がある方を歓迎しております。第1回」でAlpacaからも僕が発表することになりました。金融時系列データに対して機械学習を適用する上でむずかしいことの一つは、リアルタイムのデータのデリバリーです。デイリーの1日単位の時系列データに対して時間をかけて機械学習の手法を適用し、それのインデックスを作っておき、結果を見せるということならばそれほど難しくないわけです。トレーディングの意思決定は日に日に高度化・高速化しており、今は一分足のデータ(将来はTickデータ)に対する機械学習の適用が要求されます。これは非常に難しい問題です。数千銘柄の金融時系列データに対して、リアルタイムにユーザーからの応答に応じて機械学習の手法を適用する方法論を確立するのは簡単なことではありません。DB・ビッグデータ関連のタレントが充実しているAlpacaも結局この環境を整えるのに半年くらいかかってしまいました。利用する機械学習の手法の選定もリアルタイム性が重要視されます。これもログなどから知見を取り出すことをメインとしているケースと比べると比較的珍しい要件なのではないかと思います。最近Joinした吉田さんと一緒に具体的な語ろうと思っています。ブログの更新ないですね、と友達に言われたので近況報告したいと思います。AIのスタートアップAlpacaにJoinしてそろそろ1年が経とうとしています。以下のエントリーで書いたとおり、3月にオフィスとして丸の内のFinolabに6人部屋を借りたのですが、インターンも含めて人が増え、そろそろ部屋も満員になりそうです。futureinsight.infoそもそも僕が入った時はAlpacaは画像認識をやっていましたが、その時点でどう考えても画像認識はGoogle、MS、IBMなどの巨人たちとのガチバトルになることが目に見えていました。当時、FintechやAIはまだ今ほどブームでもなく、どんなことになるかわからない状況でした。AIに舵を切り、金融時系列に対する機械学習をコア技術にすることに決めてから基礎技術を確立するまで結局半年以上時間がかかりましたが、いよいよ技術が揃ってきてやりたいことができるようになってきたところです。今日、ちょうどAlpacaのCTOの原田が以下のエントリーをAlpacaブログに掲載しました。これは非常におもしろいエントリーで一読推奨します。blog-jp.alpaca.ai金融時系列データに対して機械学習を適用する上でむずかしいことの一つは、リアルタイムのデータのデリバリーです。デイリーの1日単位の時系列データに対して時間をかけて機械学習の手法を適用し、それのインデックスを作っておき、結果を見せるということならばそれほど難しくないわけです。トレーディングの意思決定は日に日に高度化・高速化しており、今は一分足のデータ(将来はTickデータ)に対する機械学習の適用が要求されます。これは非常に難しい問題です。数千銘柄の金融時系列データに対して、リアルタイムにユーザーからの応答に応じて機械学習の手法を適用する方法論を確立するのは簡単なことではありません。DB・ビッグデータ関連のタレントが充実しているAlpacaも結局この環境を整えるのに半年くらいかかってしまいました。利用する機械学習の手法の選定もリアルタイム性が重要視されます。これもログなどから知見を取り出すことをメインとしているケースと比べると比較的珍しい要件なのではないかと思います。上のエントリーの以下の一文が、この問題の難しさを物語っています。データは刺し身のようなものです。できるだけ鮮度が高いうちに提供するのが一番。上記の通り、弊社では大量の投資アルゴリズムという生き物が大きな口を開けてマーケットから出てくる最新のデータを待っています。適切なデータを正しい宛先に最も早く届けることができなければ、アルゴリズムが生成できるデータの価値もどんどん低下してしまいます。一つFintechのしかもトレーディング関連の機械学習をコア技術にしたスタートアップを行う上で難しいのは、リアルタイムのデータソースの確保です。この辺りの話は、ほとんど語られることがないのですが、実際にリアルタイムのデータをきちんと取得できる体制にするまではかなり大変です。Alpacaでも様々なデータソースを利用していますが、この部分をスタートアップが自力でWebサービスで利用可能な形(再配布・再利用の禁止があるとNG)で取得するのはこれまた大変です。そんな諸々の問題を一つ一つ解決し、やっと金融機関の方々と具体的な話ができる機械学習の実行環境を整えることができるわけです。いろいろな方にサービスを提供できるようになるわけです。道は半ばですが、時間をかけて技術開発をしてやっとやりたいことができる環境になりつつあります。そんなわけです、まだまだこれからですが、ぜひぜひ応援いただければと思います。Alpacaに興味あるインターン・エンジニアの方々いましたら、ぜひぜひご連絡ください。Finolabでコーヒーご馳走して、いろいろおもしろい話もできるかと思います。Kitayama(@gamella)が運営している物欲系ブログ。書評からガジェット、テクノロジーからライフハックまでなんでもネタにします。書評・ガジェットレビューなどのご依頼はtkitayama(at)gmail.comまで。お受けできないこともあります。献本はご連絡のうえ、電子書籍でお願いいたします。月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。