絶対に真似してはいけない。blog2018-12-04絶対に真似してはいけない。AdventCalendar2018Lobi事業部データエンジニア(自称)の池田です。2018の4日目です。RedashとはRedashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。以前、本ブログでは、健康的な使用事例を紹介しました。本日は、Redashの非健康的な使用事例を紹介します。Communityは今年で開発・運用が8年目になるスマホゲーマーSNSサービスです。Lobiを開発・運用するLobi事業部では、Redashを活用する上で2つの問題を抱えていました。Parse辛い問題1つ目の問題は、Sharding*1されたDBをRedashからアクセスする場合、単純なSQL文では水平分割の台数分だけRedashのクエリが必要になります。いう名前の、どうみてもJSONな文字列が入ったTEXTカラムが存在するテーブルがあります。単純なSQL文では特定のキーの情報だけ参照するのはとても大変です。この問題を解決するソリューションとして、PythonデータソースこのようなPythonデータソースを使うRedashのクエリが誕生する。'string')このときは最強のソリューションに見えた。techblog.lclco.com気軽にエンジニア以外でも扱える【Googleスプレットシートデータソース】とある平日。シリーズの業務支援を依頼されることがあります。スプレットシート*2を使ってリストが渡されます。エンジニア以外でも扱える素敵なデータソースとして、Googleスプレットシートを使えます。皆様お気づきだろうか、ここまで環境を整えたRedashは以下のように捉えられるということに。折れ線グラフや棒グラフ、箱ひげ図、サンキーチャートなど。柔軟なデータ処理を行える。importすれば可能性は無限大そう、環境の整ったRedashはMVVMとみなすこともできる!!?そして、いつの間に、Redash上で動く簡易アプリケーションの爆誕することになります。この簡易アプリケーションは非健康的です。保守が必要になるような割と業務で重要なものは、アプリケーションのリポジトリにredash/query_3121.pyredash/query_3122.py...のように保存してGit管理するケースが出てきています。まとめRedashの登場により、Kayacではいたるところで業務改善が行われました。PythonデータソースもGoogleスプレットシートデータソースも適切に利用すれば、とても『イノベーティブ』です。過度の利用は保守が大変な簡易アプリケーションの生んでしまいます。明日は、id:wyumikokhさんが『gitbookで幸せ計画』について書いてくれるようです。08:00絶対に真似してはいけない。闇のRedash入門Tweet関連記事2019-12-16fluentdを使ったRedshiftへのログ投入方法の変遷SREチームの竹田です。Lobi事業部サービス基盤チームの長田です。この記...2017-02-13複数のデータベースをまとめてSELECTできるツール「mdq」を公開しましたこんにちは。(1)月別アーカイブ検索スターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。