分12「これからの時代,プラットフォームとして選択するテクノロジはオープンソース以外にありえない。プラットフォームテクノロジたりうるにはオープンソースであることが要求される。Cutting)氏はこう言い切りました。この言葉はオープンソース信者の妄想でも何でもなく,現在,世界中のIT関係者が共有する一般的な認識となっています。前までは企業や大学の片隅に置かれたスパコンやメインフレームの独壇場だった並列分散処理システムを,安価で汎用的なハードウェア上で稼働させ,さらにサーバ台数を増やせば増やすほど処理能力を高めるというスケールアウトを実現したことで,Hadoopは最も普及したビッグデータプラットフォームとしての地位を不動にしました。Hadoopがこれほどまでの成功を果たした最大の理由は「オープンソース」という開発スタイルにあるとカッティング氏は続けています。Hadoopはまもなく開発を開始してから10年を迎えますが,当時からオープンソース以外で開発することは考えていなかったとカッティング氏は言います。10年前はまだ「インフラにオープンソースを選ぶのは,セキュリティや信頼性に不安があるので無理」という声が少なくなかった時代です。かかわらず,なぜカッティング氏は迷うことなくHadoopをオープンソースで公開したのでしょうか。そもそもカッティング氏はなぜHadoopというデータ処理システムを開発したのでしょうか。基調講演後のカッティング氏に,Hadoop開発に至った経由やオープンソースを選んだ理由などについてお話を伺いました。言語学から検索エンジン,ビッグデータへ─⁠─ダグさんはスタンフォード大学で言語学を専攻したと伺っています。いうきっかけでITの世界に入ることになったんでしょうか。カッティング氏(以下C⁠)⁠:本当はコンピュータサイエンスを専攻したかったのですが,当時のスタンフォードにはそういった学部がまだなかったんです。子供のころからプログラミンが好きだったので,将来はシリコンバレーの会社で働きたいという気持ちは当時からもっていたのですが,言語学を体系的に学んでおけば,のちのちITの世界でも役に立つだろうという思いもありました。結果として,音声認識やテキスト検索エンジン,ビッグデータの仕事をする際にも言語学の知識を応用することができましたから。─⁠─失礼ですが,いまおいくつなんでしょうか。C:実は来週が誕生日で,もうすぐ51歳になります(笑⁠)⁠。大学卒業時はまだ1980年代半ばでした。卒業後はXEROX,次にApple,そしてExciteに勤務しました。─⁠─そのころはどんなお仕事を?C:XEROXではずいぶん検索エンジンの研究をさせてもらいました。OSにも搭載されている「Spotlight」を最初に開発したのは私なんです。Exciteに移ってからも検索エンジンの開発を続けました。検索エンジンの開発では言語の有機的なつながりの解明に加え,大量のデータを効率よく処理していく手法が重要になります。開発を続けていくに従い,言語学,検索エンジン,そしてビッグデータへと研究対象が移っていきました。─⁠─そういったキャリアがHadoopの誕生につながっているわけですね。Lucene)やWebクローラのNutchを開発されていますが,いずれもオープンソースとして公開されています。これらのソフトウェアを開発するのにオープンソースを選んだ理由をお聞かせください。C:私の大学時代は残念ながらオープンソースという概念はまだ誕生していませんでした。学生時代,フリーソフトウェアのEmacsの開発に携わっていた経験から,ソフトウェアはより多くの人が参加することでより良いものになるということはわかっていました。Luceneは開発当初(1997年⁠)⁠,オープンソースとして公開はしていませんでした。プロプライエタリにする気もなかったのですが,しばらく「寝かせた」状態にしておいたのは確かです。2000年ごろから徐々にオープンソースという考え方が支持されるようになってきたのを見て,実験も兼ねてLuceneのソースコード公開に踏み切りました。結果,本当に多くの人が開発に参加してくれるようになり,現在も最も人気の高い全文検索ソフトウェアとして開発が続けられています。年々,良いソフトウェアに進化していますが,これはオープンソースだからこそなせる技です。─⁠─そうした経験からHadoopもオープンソースで公開したわけですね。Hadoopのアイデアを思いついたときのことをお話いただけますか。C:HadoopはYahoo!に勤務していた時期に開発を始めました。最初のきっかけはGoogleによるMapReduceの論文(2004年)です。MapRuduceは広域に分散したサーバクラスタを非常に効率的に扱うことを可能にするアルゴリズムです。論文を読んだとき,私は「Luceneの開発経験をMapReduceで応用できる」と直感しました。Luceneは当時すでに,かなり大量のドキュメントを1台のマシンで扱うことができましたが,億単位を超えるドキュメントを扱うなら分散処理が必要になります。LuceneとMapReduceの統合を考えていくうちに,それがHadoopの原型となっていきました。Hadoopの開発は最初からオープンソースでやると決めていました。2005年に最初のコードを公開しましたが,Luceneのときとは違って迷いはなかったですね。同じレベルのソフトウェアが2つあったとして,ひとつはオープンソース,もうひとつがNotオープンソースであれば,人々は間違いなくオープンソースを選びます。汎用的なソフトウェアはオープンソースでなければ開発もクオリティも維持できず,インプリメントも困難になります。Hadoopがオープンソース以外の選択肢を取ることはありえなかったのです。─⁠─オープンソース以外に選択肢はありえないというお話を聞くと,2011年にMicrosoftがDryad(Microsoftが研究していたHadoopによく似た並列分散処理フレームワーク)の開発をストップし,同社がHadoop支持に切り替えたことを思い出します。C:そう,Dryadはまさに"パーフェクトサンプル"です。Dryadに関してはちょっとした思い出があります。2007年,あるカンファレンスで私とMicrosoftの方がそれぞれ分散処理システムについて語るセッションがありました。そのとき会場からはHadoopに関しては数多くの質問が寄せられたのに,Dryadについては誰も質問しなかったのです。私はこのとき,Hadoopの勝利,オープンソースの勝利を確信しました。誤解のないように言っておきますが,Dryadは非常にアカデミックですぐれたテクノロジでした。現在のSparkやTezで実現していることはすでにDryadに含まれており,機能だけを見ればDryadはHadoopの数段先を行っていたでしょう。Dryadはオープンソースではなく,Microsoftのプロプライエタリ技術です。人々がDryadを試したくても試せない。その点,Hadoopはオープンソースであるため誰でも入手でき,容易にトライすることができました。オープンソースだからこそ,事前に試すことで本番実装におけるリスクを回避できるのです。ソフトウェアはより多くの人に使われてこそ意味があるという事実を如実に示した,まさにパーフェクトサンプルだといえるでしょう。Lucene著者プロフィール五味明子(ごみあきこ)IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。コードの安全性・安定性を高める開発サイクル~テスト管理の効率を上げ,脆弱性診断を自動で行う~本連載では,連載「業務を改善する情報共有の仕掛け」を受けつつ,安全性・安定性を加えた開発サイクルについて考えていきます。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。