移設されました(2019/7/1)使い慣れたSQLによるデータ操作環境をHadoopプラットフォーム上で手に入れる本日は「Hive(ハイブ)・HiveQL(ハイブキューエル)」という言葉を解説します。HiveはHadoopによる高速なビッグデータ処理をより簡単に利用する為の「Hadoop上で動作するソフトウェア」です。HiveQLは「Hiveの中で管理されているデータを操作するのに用いられるSQLに似たデータ操作言語」です。巨大データの取り扱いを目的とした分散処理のフレームワークである分散処理によってビッグデータを高速に処理することができるHadoopの利用者は自作したデータ処理のプログラムや他者が開発したツールプログラムをHadoop内に組み込んでビッグデータ処理を行うと説明させていただきました。Hadoopの登場や広まりによってビッグデータ分析処理は劇的に効率化され、多くのデータ分析業務に携わるみなさんがその恩恵を受けています。ここで、Hadoopを利用するユーザはさらに贅沢な要求をHadoopに対して抱き始めます。それは、Hadoopそのものはフレームワークにすぎないので、実際にデータを操作する場合は、Hadoop上で具体的なデータ操作を行う「Hadoopアプリケーション」を開発しなければならない。これが面倒くさい!「データベースマネージメントシステム(DBMS)に、SQLを使ってデータを投入して検索する」、これと同じように「Hadoopに、SQLを使ってデータを投入して検索する」。これってできないのか?やりたいのに!ならば、上記2点を解決する「汎用的なHadoopアプリケーション」を誰かが作ってオープンソースで公開してくれたらみんな幸せなのに!というモノでした。これらを満たすために生まれたのがHiveなのです。Hiveは初めFacebookによって開発されました。現在ではApacheプロジェクトの一部として活動が行われています。Hiveは「Hadoopアプリケーション」としてHadoop上で稼動し、利用者に「データベースマネージメントシステム(DBMS)」の機能を提供します。この際のSQLに相当するデータ操作言語としてHiveQLが用いられます。Hadoop上でHiveが稼動することにより、利用者はMySQLやPostgreSQL、Oracleなどに近い感覚でデータの操作を行う事ができます。その際にHadoopの分散処理機構が持つ高速なデータ処理機能が利用できることはいうまでもありません。関連記事:Hadoop(ハドゥープ)とは?データベースマネージメントシステム(DBMS)とは?SQLとは?AUTHOR他のスタッフを見る"ギックスギックスからのお知らせをお伝えします。加えて、「ギックスらしさ」につながる“インターン生による記事”や“外部からの寄稿”なども、こちらのアカウントで発信していきます。活用して機械学習のワークフローを構築する2020.02.03【メディア掲載】「トチカチ」が日経クロストレンド、日経MJに取り上げられました。2020に、「トチカチ」を出展しています。~はじめての電子出版~WebRTCとは?(1)|SkypeやLINE的なサービスが自社サービスとして構築可能に?ブログ購読にはRSSとTWITTERが便利です。CONCEPTギックスの創業理念と目指す姿をご紹介します。グラフ理論などを駆使し、経営課題の解法を探りますデータ基盤構築サービス理論を実務に繋いで成果を創出。永続的な拡張により顧客便益を最大化します。情報セキュリティ基本方針CONTACTRSS。