こんにちは、データサイエンティストの森下です。本記事では所謂ブラックボックスモデルを解釈する方法を紹介したいと思います。データサイエンティストの森下です。TVISIONでは探索的にデータを見てく段階では、可視化に加えて複数の回帰モデルを作成して検討する、ということをよくやっています。モデルの数が少ない場合は個別にモデルを作成してsummary()で見ていく...purrrとbroomで複数の回帰モデルを効率的に管理する2019-01-04データ分析の信頼性をチームで上げるモブレビューの導入こんにちは。データサイエンティストのshobyです。今回は、データ分析の信頼性をチームで上げるために、皆でコードレビューをするモブレビューを導入した話をご紹介します。モブレビューを導入することにより、分析要件や分析手法の妥当性をチームとして保...データ分析の信頼性をチームで上げるモブレビューの導入2018-11-01RedShiftでETL処理向けの擬似JSON型カラムViewを作成するこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。今回は、RedShiftでETL処理向けに、擬似的にJSON型のカラムを持つViewを作成する方法をご紹介します。組み合わせてETLを行っています。Athenaを利用するこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。Athenaを使用する方法をご紹介します。Athenaを利用する2018-09-13RedShiftでの日時処理を行う際の注意点RedShiftこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。RedShiftの日時処理、紛らわしいですよね。今回は、RedShiftで日時処理をする際の注意点をご紹介します。現...RedShiftでの日時処理を行う際の注意点2018-08-31S3のデータを別アカウントの別バケットにコピーする際の権限設定こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。本番ログデータを開発用S3バケットにコピーする必要が生じています。別アカウントの別バ...S3のデータを別アカウントの別バケットにコピーする際の権限設定2018-08-22RedShiftでDECIMAL(NUMERIC)を使用する際の有効桁数についてRedShiftこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。taross-fです。前職ではソーシャルゲームの会社で主にC#を書いて過ごしていましたが、現在はデータベースからAWSからいろいろ触っていて、必死に楽しく日々を過ごしています。他メンバーのp...DataGripって、便利2018-08-15『継続して○○した日数』の最大値をSQLで求めるSQLこんにちわ。INSIGHTSのデータ部では、複雑なデータ抽出をする機会が多々あります。DBはRed...『継続して○○した日数』の最大値をSQLで求める2018-08-06WITH句で複雑な分析用SQLの可読性を上げる(RedShift)SQLこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。INSIGHTSのデータチームでは、RedShiftを使用した分析のために複雑なSQLを書く必要があり、サブクエリを多...WITH句で複雑な分析用SQLの可読性を上げる(RedShift)2018-07-26RedShiftにユーザー定義関数を追加し、データ抽出業務を効率化するRedShiftこんにちは。データサイエンティスト、兼データ基盤エンジニアのshobyです。今回は、データ抽出業務を効率化するために、RedShiftにユーザー定義関数を追加する方法をご紹介します。RedShiftでは、SQLもしくはPythonを使用し、...RedShiftにユーザー定義関数を追加し、データ抽出業務を効率化する2018-07-23RedShiftの制約についての注意点RedShiftこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。今回は、RedShiftの制約について注意すべき点をご紹介します。RedShiftの制約は違反できる...RedShiftの制約についての注意点2018-07-13RedShiftの列圧縮タイプを見直し、ディスク費用を節約するRedShiftこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。今回は、RedShiftを長年運用していく中でディスク使用量が肥大化していく問題に対して、列圧縮タイプを見直し、ディスク費用を節約する方法をご紹介します。こんにちわ、データ部の長野です。TVISIONでは、非エンジニア向けのデータ抽出環境として少し前からRedashを使用しています。3.0.0」に参加してきました!2018-07-05S3を用いて本番環境のRedShiftから開発環境のRedShiftにデータを移すこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。今回は、S3を用いて本番環境のRedShiftから、開発用のRedShiftにデー...S3を用いて本番環境のRedShiftから開発環境のRedShiftにデータを移す2018-06-28RedShiftの権限管理オペレーション用SQLチートシートこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。今回は、週に一度は権限周り...RedShiftの権限管理オペレーション用SQLチートシート2018-06-22分析結果の信頼性を上げるSQLレビューについてこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。近年では、データの重要性が増した結果、データサイエンティストの出した分析結果を元に、大きな意思決定もされるよう...分析結果の信頼性を上げるSQLレビューについて2018-06-15喧嘩を生まないSQLコーディング規約の作り方SQLこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。Athenaのクエリを実行できるようにするRedashこんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。AthenaをRedashと連携する方法をご紹介します。Athena)こんにちは。データサイエンティスト兼、データ基盤エンジニアのshobyです。Athena)2018-05-24RedashのAlert機能を使ってログデータの欠損や異常値をチェックするRedash初めまして。データサイエンティスト兼、データ基盤エンジニアのshobyです。INSIGHTSが運営する技術ブログです。Pipelineのハマりポイント月別アーカイブ注目記事スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。