よしだのブログスマートフォン用の表示で見るよしだのブログサブタイトルはありません。勉強会へ参加してきました。恒例のメモの半リアルタイム更新をしようと思っていたのですが、全編英語のためメモをしている余裕が基本的にありませんでした。理解するのに精一杯で・・、前半についてはある程度取れました。いうわけで、今回はメモ、というよりは感想戦で挑もうかなと思います。タイムにしたのは私です。機能的な充実、便利な関数をより追加したり、ある程度精度を下げてもパフォーマンス重視にできるパラメータを追加したりしたいと熱く語っておられました。一点は、インデックスデータの安定性を高める、チェックサム機能の追加でした。そのものにチェックサムを、すでにコミットしマージされているとのことで、インデックスの破損が無いことを確認できるようになることで、インデックスの移動などがより安全にできるようにするとのことです。万一破損した場合、レプリカやスナップショットなどのバックアップがなければ、現状クロールしなおしだが、これを短くする方法を考えたい、ペタバイトクラスのデータを管理できるようになることも、大事な目標の一つだとおっしゃっていました。機能の充実についてでした。機能について説明します。集約と類似の機能になるかと思います。タグがついている投稿を検索し、ヒットした投稿の「平均」コメント数を取得し、さらにトップコメンターと各コメンターの得た「最高」評価を一度のクエリーで得る、というようなものです。「平均」「最高*2」といった集計・集約関数を使うことができ、さらに入れ子にすることが可能だということです。フルサポートする予定とのことで、これにより更に柔軟なビジュアライズが可能になると思います。より、データを集計する粒度や角度を柔軟に変えることで、まさに”データを探検する”ことができるという点です。これが、十分なパフォーマンスを保ってできるのであれば、かなり衝撃的だと思います。入れとけば、簡単な集計や分析ぐらいは十分となるかと思います。的な機能も付けたいとおっしゃっていたように思います。使ったクラスタリングといったもので絞られたものだったし、正直なところ実用性はあまりありませんでした。関数としてつけるのであれば、集計・集約という観点になると思いますので、単にその範囲にはとどまらずより実用的な機能に仕上げてくるのではと思っています。具体的にどのような機能を作るのかはわかりませんが、個人的には”教師あり”の分類アルゴリズムを搭載すると面白いのではと思いました。アルゴリズムを組み込んで、自動でタグの推定、タグ付けができるとか面白いのではと思いました。タグが予め設定されている文書は学習データとして扱い、モデルを作成し、タグが付けられていない文書のタグを推定するということは理屈上は可能なんじゃないかと。線形回帰で時系列に並べたデータの推移を予測する、というのも面白いかと思います。可視化されると更にステキなことになりそうな予感です。外部のツールと連携して、学習や判別用のクラスタを別途用意しないといけないような気がしますが。実現してくれそうな気にさせてくれるスペシャルセミナーでした。見る*1:なっていない英語で申し訳ありませんでした。*2:最大*3:聞き間違えでしたらもうしわけありません。はてなブログPro検索プラットフォームの開発・運用をしているプログラマーです。好き勝手なことを綴りますが、どうぞ宜しくお願いします。所属組織とは関係のない個人の見解です。(41)月別アーカイブはてなブログをはじめよう!yoshi0309さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。