2019Snowflake『カスタマーストーリー』を支えるツール特集2019年12月14日たまちゃん(77)3どうも。大阪オフィスの玉井です。2019』の14日目のエントリです。DevelopersIO今回はDataikuというデータ分析(特に機械学習)のプラットフォームサービス製品とSnowflakeを連携させてみようとしたが、上手くいかなかった話をまとめたいと思います。ChromeDataikuとSnowflakeの関係DataikuはSnowflakeのすべての機能をサポートしています。driverをインストールするドライバのダウンロード下記を参考にダウンロードします。Documentationこのドキュメントに記載されているリンクからドライバ一覧がダウンロードできるページに飛べるので、そこから最新バージョンをダウンロードします。ドライバをDataikuのディレクトリに配置する上記で取得したドライバは、Dataiku(のインスタンス)の下記ディレクトリに配置します(UNIX弱者のわたしはWinSCPを使いました)。/home/dataiku/dss/lib/jdbcドライバの配置を終えたら、Dataikuを再起動します。ここで気をつけたいのは、インスタンスを再起動してもダメで、別途インスタンスに接続して、専用のコマンドでDataiku自身の再起動が必要になります。startというコマンドが紹介されているのですが、このDATA_DIRは環境によって変わるようです。今回のDataikuはAWSマーケットプレイスから構築したものですが、その場合は下記の通りでコマンドが通りました。startConnectionにSnowflakeを追加するJDBCドライバのインストール(配置)が終わったところで、Snowflakeの接続情報をDataikuに入力します。メニューのAdministrationを選び、Connectionの画面に移動します。Snowflakeの接続情報の入力画面に遷移できるので、ここに接続したいSnowflakeの情報を入れます。下記のように入力しました。Hostは~snowflakecomputing.comまで入れましょう。https://は入れても入れなくても、どっちでも大丈夫です。他にも色々なオプション事項等がありますが、今回は最低限で行きたいと思います。上記の部分の入力を終えると、画面下記でテスト接続ができます。問題なければConnectionが問題ないことが表示され、その接続情報をCREATEできます。Snowflakeのテーブルをデータソースにしたい...のだが...「SnowflakeとDataikuの接続が問題なく出来たから、後はデータソースにするテーブルを選ぶだけだな」ということで、作業を続けました。テスト用のブランクプロジェクトを作ります。DATASETを選んで、Snowflakeのデータを選んでいきます。Editionじゃないとダメなので気をつけましょう。Snowflakeを選んだら、後は先程設定した接続情報に基づくテーブルを選ぶだけ...と思っていたのですが、ちょっと謎な事象が起こりました。今回設定したSnowflakeのDBは下記です。テーブルは3つしかありません。Dataikuのテーブルを選ぶ画面では、他のDBのテーブルも一気に持ってきているように見えます。これはDataiku側の仕様っぽくて、テーブルリストを読み込む時の注意画面でその旨が書かれていました。全テーブル出るのはさておき、とりあえず設定した権限で見ることができるテーブルを選択するのですが、なぜかアウト。「このセッションには現在のデータベースがありません」と言われるのですが、そもそも設定した接続情報にDB名をキッチリ入力してテスト接続も上手くいっているので、なかなか謎です。DATABASEを試したりしましたが、やはりエラーとなりました。別の登録方法を試す先程はプロジェクト画面からデータセットを登録する方法をやりましたが、今度はConnection情報から先にデータセットを指定する形をやってみます。Connection画面の下に、テーブルをインポートするメニューへのリンクがあります。ConnectionとSchemaを選ぶ画面になります。ここで指定した情報に基づくテーブル一覧を表示して、インポートしたいテーブルを選ぶ形となります。ちなみに相変わらず事前設定したDBを無視して全スキーマが登場します。テーブル一覧画面でインポートしたいテーブルを選びます。インポートしたテーブルをデータセットとして登録するプロジェクトを選び、いざインポートを開始すると、「カラム名がダブっている」というエラーになります。上記でインポートを試みたテーブルのカラムをSnowflake側でチェックしますが、ダブってなんかいませんでした。この「カラムがダブっている」というエラー、どのテーブルでも発生します。何か設定が間違っているのだとは思うのですが、このブログはアドベントカレンダー...投稿までの時間の制約があるため、これ以上の調査は一旦中断...ここまで失敗談をブログとさせていただきます...。おわりにSnowflakeとDataikuはテクノロジーパートナーです。今回の接続できなかった件については、十中八九、何かの設定漏れと思われます。実際、DataikuとSnowflakeを連携させることで、DWH側を柔軟にスケールアップorスケールアウトさせて、Dataikuで機械学習を思う存分活用できるようになるため、非常にモダンなデータサイエンス環境として使えると思います。こちらは、年明けにでももう少し調査して、続報エントリを書きたいところです。Driverを使ってSnowflakeに接続&クエリを実行する」の予定です。Snowflakeの四刀流を目指す。AWS?何それ?元学生プロレスラー。リモート】クラスメソッドの会社説明会を開催しますクラスメソッドでは、AWS・AI・ビッグデータ・モバイルなどの技術職や営業のメンバーとして一緒にお仕事をする仲間を大募集しています。#cmdevio新型コロナウイルスの感染拡大を受け、本イベントを延期させていただくことになりました(開催時期未定)。お申し込みいただいた皆様には大変申し訳ございませんが、何卒ご理解いただけますようよろしくお願いいたします。AWSについてライトに色んな情報交換をしましょう。カフェ店長のオカノです。今日はオフィスに用があるので、通勤ラッシュを避けて出社しました。この子は新メンバーのさめくんです。在宅勤務が推奨されているのでオフィスが閑散としており、すこしさみしそうです。夏目祐樹147こんにちは、CX事業本部の夏目です。MacのタッチバーのタッチIDが非常に便利なのですが、Terminalでsudoを叩かないと行けないときに使えたらなぁと思ったので、情報を共有します。タイトルがすべてなのですが、社内で「登壇勉強会」が開催されたので、「登壇は最強の生存戦略である」というタイトルで登壇しました。本が出ていたので読んでみたところよかったので紹介させていただきます。臼田佳祐295ワークフロー自動化OSSのn8nをAWS環境で建てて検証してみました。非常に期待できるサービスです。Fargateの勉強をしています。使ってみたい方は参考にしてください。洋介255SnowflakeがAWSの東京リージョン上で稼働するようになりました。データを日本に置けます。芳賀健233こんにちは!猫様の忠実なるしもべ、芳賀健です。Tokyoで開催されました。カフェ店長のオカノです。クラスメソッド株式会社が運営するAWS・iOS・HTML5に関する技術情報サイトです。