Labとは、アスタミューゼのエンジニアとデザイナーのブログです。アスタミューゼの事業・サービスを支えている知識と舞台裏の今を発信しています。データ開発エンジニアこんにちは、福田です。秋らしくなり、過ごしやすくなりました。皆様いかがお過ごしでしょうか。前回は、コンパクトで高速な大規模キーワード辞書の実装について書きました。β版のセットアップです。最先端の開発環境を手にすべく、立ち上がります。準拠の関数サポート、ネイティブでのCSVサポートなど、嬉しいアップデートが目白押しです。Spark胸が高鳴ります。Blogこちらのリリースブログの記事を参考にインストールします。それでは、見ていきましょう。CSDファイルをダウンロードします。Serverを稼働させているホストの/opt/cloudera/csdディレクトリに置きます。/opt/cloudera/csd/同ファイルの所有権をcloudera-scm:cloudera-scmに、パーミッションを644にそれぞれ変更します。Serverを再起動します。UI)での操作になります。Serviceの設定ファイルの変更内容を確認し、再起動を行います。Serviceの再起動を完了させます。パッケージのダウンロード、配布と有効化parcelのリストにSpark2が現れることを確認し、ダウンロード、配備、有効化を行います。はやる気持ちを抑えきれず、spark2-submitでジョブを投入、とここで思わぬエラーが。org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)イYARN。spark2のconfig一式がありません。どこでボタンを掛け違えたのか...ちょ、ちょっとMatei!!クラスタへのSpark2のサービスの追加を忘れていました。気を取り直して、クラスタへSpark2サービス追加を行います。Service(サービスの追加)から、ウィザードを起動Spark2を選択後、Continueをクリック。引き続き、HistoryServerとGatewayロールを割り当てるhostを選択し、ウィザードに従いサービスの追加を完了させます。※既存のSparkとは別に、Spark2のロールを割り当てる必要があります。おめでとうございます!Spark2がサービスとしてクラスタに追加されました。仕上げに、クライアント設定の再配備を行い、クラスタの再起動を行います。これで、準備は整いました。spark2-submitを使います。information.scala>なんということでしょう。正式版リリースまでに準備をしていきましょう。念のため、1.6.0の方も確認します。sqlContext.scala>あとは、既存のジョブをScala-2.11、Spark-2.0向けにビルドし直してspark2-submitするだけです。いくつか挙動が異なる部分や、互換性の問題も発生するかもしれません。その場合はドキュメントを参照し、根気よく対応します。2.0があなたのパートナーです。洗練されたパフォーマンスと新しいAPIを駆使して生産性・開発効率を上げていきましょう。11:45もう待てない、Spark2.0の導入と実践Tweet関連記事2018-08-01Excelとscalaのケースクラス間で入出力ができるライブラリをgithubに公開しましたscalaでバックエンドを開発しているaxtstar(@axtstart)です。性能検証こんにちは!データ周りをやってる朴です。先日ご紹介があった...2017-11-15アスタミューゼの開発組織と採用に関するQAアレコレこんにちは。並河(@namikawa)です。使ってみる(1)山縣です。連携こんにちは、データ周りを担当してる朴です。Labとは、アスタミューゼのエンジニアとデザイナーのブログです。アスタミューゼの事業・サービスを支えている知識と舞台裏の今をブログとTwitterで発信しています。@astamuseLabアスタミューゼで働きませんか?アスタミューゼでは現在エンジニア、デザイナーを募集中です。興味のある方はぜひご応募ください。(1)@astamuseLabさんのツイートastamuseサービスサイトastamuse世界中のinnovatorのために、創造活動を可視化し未来を創るためのプラットフォームです。活用や新規事業に役立つ様々な機能を提供します。ビッグデータ分析から情報提供し、あなたの知らない未来を発見するメディアです。reserved.スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。