Firestoreを採用した開発をはじめて1年半ほど経ちました。GoogleさんはFirestoreにちゃんと投資してくれていて、年々進化していますね。Summitで大方片付いた印象です。ドキュメントも読みやすくて充実しているので、ただ開発するだけならあまり困ることもないのではないかと思います。一方で、オペレーションに関する機能はまだ弱いので、工夫とかノウハウが必要な部分だと感じています。そこで3つ、実際に辛みを感じて工夫しているものを挙げてみようと思います。これらは、私も満足に解決できているものではありません。これらは人に依っては、細かい事柄だと感じるかもしれません。実際、全くのゼロイチの新規事業開発においては、事業や組織の性質に依っては、あまり考慮しなくても済む内容かもしれません。私が開発しているプロダクトは、ある程度腰を据えて開発をすることが既定路線になっていて、細かいオペレーション(とはいえ、一般的なAPI開発とかでは普通のオペレーション)にもリソースを割きたくなっているという背景があります。Firestoreを既に利用している方で、「こうしたら良いよ」というアドバイスがある方は、ぜひtwitterとかで教えてもらえると嬉しいです。Firestoreの採用を検討している方へは、判断材料の手助けになっていたら嬉しいです。マイグレーションが辛いみなさん、マイグレーションどのように行っているのでしょうか。私は極力、マイグレーションは行わないように避けていますが、どうしてもマイグレーションを行わないといけないときがたまにあります。Firestoreにおけるマイグレーションの辛さの原因は2つあります。1つ目は、Firestore自体がスキーマレスでマイグレーションという概念は持ち合わせていないことです。tableを気軽にできないのは、もう構造上仕方ないです。1つは、FirestoreはiOS・Androidのクライアントアプリが直接クエリを発行するため、アプリのバージョン(アップデート)を考慮する必要があることです。OSでアプリのバージョンを自動的にアップデートする機能を切っているユーザーは一定数いて、そうしたユーザーは古いバージョンのアプリをいつまでも使う傾向にあります。APIであれば、DBはマイグレーションしてもAPIのインターフェースは変えなかったり、エンドポイントのバージョンをincrementして複数バージョンを同時に走らせるといった対応を取ればよかったですが、Firestoreに乗っかったiOS・Androidアプリを開発していると、そうした選択肢を取ることはできません。実現したいことに応じて色んなマイグレーション戦術は考えられると思いますが、基本的には下記のフローに則ってマイグレーションを行っています。小さいコレクション・ドキュメントのマイグレーションであれば、これで大方問題はありません。強制アップデート(6)のタイミングまで、マイグレーションの管理をしないといけないのがちょっと面倒なくらいです。コレクション内のドキュメント数が多いと辛みが出てきます。いうのも、コレクション内のドキュメント数が多くなると、コレクションを一気に読み込むことができなくなり、(3)の処理に時間がかかったり、変なスクリプトを書く必要がでてきます。うまいことクエリカーソルを使えれば良いですが、得てしてそんな都合の良いフィールドがなかったりするので、timestampを使って日・時間ごとにpagingする処理を書いていったりする必要がでてきます。(もしtimestampをフィールドに生やしていない場合は、どうやってpagingすれば良いかを考える必要があります。)各ドキュメントのサイズにも依るでしょうが、コレクション配下のドキュメント数が10万を超えるなら、メモリ的にもきついでしょうし、まずクエリがタイムアウトします。ドキュメント数に応じた時間をかけて、地道にtimestampを更新していくしかありません。あと、マイグレーションの結果ドキュメントのフィールド数が大幅に増える場合は、セキュリティルールの制限も気をつける必要があります。私は、マイグレーションでは引っかかったことはないのですが、普通に開発をしていて「リクエストあたりの式評価の最大数」が1000であることに引っかかったことはあります(mapやarrayを多用していたため)。これに引っかかるようでは、ドキュメントの設計が間違っている可能性のほうが高くはありますが、マイグレーションのときには気にはしています。良いマイグレーションの方法があったら、ぜひ教えて頂きたいです。DDoS対策を満足にできないクライアントサイド側から直接Firestoreに対するDDoS攻撃があった場合、それを防ぐ有効な手段は乏しいです。AuthenficationとFirestoreのセキュリティルールを利用して、できる限りの予防はしていますが、不十分なのでもっと良い方法はないかと模索しています。過去に2回、FirebaseのサポートチームにDDoSに関する問い合わせをしているのですが、FirestoreにはL7のDDoS攻撃を緩和する内部的な仕組みがまだないようなのです。Authentificationの認証さえクリアすればDDoS攻撃は可能だと考えられます。DDoS攻撃を受けてしまった場合は、Firebaseサポートチームに助けを求める他ないように思えます。Firestoreは、Webブラウザやスマホアプリなどのクライアントから直接クエリを叩くことができます。Functionsを介してFirestoreのクエリを発行することでクライアントからの直接的な操作を控えることも可能ではありますが(実際、セキュリティ面を懸念してそうしているプロダクトも少なからずあるようですが)、レイテンシーは長くなりがちですし、Firestoreを活かしたオフライン対応のアプリではクライアントからの直接的な操作が必須となってきます。クライアントから直接Firestoreを操作するということは、セキュリティの仕組みはFirebase側が用意したものに則るしかありません。セキュリティルールで実現可能な範囲で、セキュリティ対策を行うしかないということになります。Authentificationの認証情報を元に行います。Facebook認証、メールアドレス認証、匿名認証などの情報をもって、どのコレクション・ドキュメントにリクエストすることができるのかを判定・認可します。Authentificationで認証さえしてしまえば、Firestoreにいくらでもクエリを投げられるということです。プロダクトが匿名認証を採用している場合は、相対的に、悪意ある攻撃の被害にあいやすい状態にあると言えそうです。DDoS攻撃を受けた場合、書き込み制約(全コレクションの書き込み速度は1秒あたり500までとか)に引っかかったり、意図的にホットパーティション問題を再現されたりして、ユーザー体験が大きく損なわれる可能性があります。セキュリティールールがしっかり設定出来ていてサーバーレスで設計されている場合、DDoS攻撃の規模によっては問題なくリクエストを捌けてしまうかもしれません。大量のリクエストを処理するためにかかったお金の問題は事業に直結するものですし、Firebaseサポートチームのサポート内容に期待して良いのかを判断できる材料を、今のところ私は持っていません。過去に二度、Firebaseのサポートチームにこうした見解を相談していますが、否定はされないうえ、「攻撃を緩和する手段はいまのところない。予算アラートを設定してくれ。DDoS攻撃と思われる被害にあったらすぐ連絡してくれ。」という回答をもらっており、的外れではないのだろうと認識しています。過去に開発をしていたウェブサービスで、DDoS攻撃を何度か受けた経験があることもあり、率直に、ちょっと怖いなーという印象です。deleteのリクエストであれば、リクエストごとにタイムスタンプを取得できるので、下記のようにリクエストに制限を加えることができます。これでupdateやdeleteに関しては、大量のリクエストは送れなくなります。ブラックリストのコレクションを作成し、ブラックリストに載っているユーザーはリクエストを許可しないといった処理も書くことができます。rulereadクエリでの対策方法は、リクエストごとにドキュメントを都度作成して...といった富豪的なアプローチしか思いついていません。よって対策できていません。createクエリの対策も、上記ではhasTimestamp()で制約はかけていますが、本質的には気休めでしかありません。イベントソーシングで設計しているEntityとかもあり、本当は対策したいのですが、富豪的なアプローチ以外は思いついていません。Authentificationでは同一IPで作成できるアカウント数を制御することができます。下記のスクショはデフォルト値の100になっていますが、プロダクトに合わせた数字を設定する必要があります。こちらは、例えばなにかの中・大規模イベント会場でアプリが喧伝されたりする可能性があるならば、閾値が100だと足りないという判断もできると思います。どちらかというと、あまり大きな数字にしすぎないという意識でいれば良いと思います。最後に、DDoS攻撃を認知するために、予算の閾値を設定します。閾値を超えた場合にはアラートを飛ばすことができます。Limiting(APIの利用制限)の機能ではありません。問題にはやく気づくことができるようにするための機能です。Limitingの仕組みだったり、IP単位のアクセス排除の機能であったり、WAFのオプションなどが付いていてほしいところではあります。AWSのドキュメントを見る限りでは、AWSのLambdaやDynamoDBにはWAFを付けれたりするそうなので、隣の芝が青く見える次第です。Firebaseでも、本質的には同様のことが生じるかと思います。FunctionsでのDDoS対策は、Expressのミドルウェアで行うのがベストプラクティスなようです。監視項目で足りないものがあるFirestoreの監視は、以前は何もできませんでしたが、徐々に監視項目が増えてきました。現在は読み込み数・書き込み数・スナップショットのリスナー数・アクティブな接続数・セキュリティールールの評価数と評価結果を監視することができます。気になる異常系の捕捉やレイテンシーの計測は、まだ不十分なのかなと思います。クライアントサイドでデータを収集するする必要があります。Firestoreのリソース状況はStackdriverで計測・監視することができます。StackdriverはFirebaseのラインナップではないため、GCPのコンソールからアクセスする必要があります。リソースの利用状況のグラフを見るだけなら、Firebaseのコンソールからでも可能です。Stackdriverで監視できる項目は先に述べた通りです。中でもセキュリティールールの評価結果に関しては、アラートを設定して重宝していて、基本的にDenyやErrorは極力ゼロになるように意識しています。permissions”を返すケースがあったのですが、アラートですぐ気づけてすぐ対応できたというのがあったりします。(ルールの監視は昨年末?追加されたためか、いま見たら日本語のドキュメントだと記載がなかったのですが、英語だとちゃんと書かれてます)。Firestoreで監視したい項目は他にもいくつかあって、特にシステムエラーなどの異常系と、レイテンシーは最低限監視したいと考えています。前者に関しては、FirestoreのSLAは東京リージョンだと99.99%と指定されているので、年間あたり1時間弱はダウンタイムが許容されていますし、実際たまに障害は起きているためです(ドキュメント)。Firestoreは急な負荷がかかるとエラーを返したりと(ドキュメント)、Firestoreも例に漏れなくシステムエラーが発生しうる設計であるためです。後者のレイテンシーの監視に関しては、大量のドキュメントを読み込んでレスポンスが遅くなっているreadクエリの発見や、ホットパーティション問題の発見に繋げたいためです。無駄にドキュメントが重複しないようにドキュメントIDを開発者側で指定したりする設計もあるので、そういったホットスポットがちょっとでも発生しうるコレクションは特にレイテンシが気になるところです。前者のシステムエラーの監視については、クエリを叩くクライアントサイドでエラーをある程度捕捉することは可能です。SDKにはエラーコードが17つ定義されているので、エラーコードが具体的にどのような事象を指しているのかよくわからないものもありますが、Crashlyticsにエラーログを送っています。Stackdriverでのセキュリティールールの評価結果の監視に関しても、Stackdriver上ではErrorやDenyが発生した件数しか確認できないので、結局はCrashlyticsで具体的なエラーの内容を分析するような運用になっています。Monitoringで気になるクエリをトレースしています(ドキュメント)。先に述べたような、ドキュメントIDを自動で設定せず開発者で設定しているようなコレクションのクエリに関しては、必ずトレースを仕込むようにしています(ホットパーティションに関して問題を検知したことはまだないです)。大量のドキュメントを読み込むケースが生じうるクエリに関しても、トレースを仕込んでいます。DBの監視からは少々話が逸れるかもしれませんが、Firestoreのオフラインキャッシュへのクエリは必ずしも高速ではないため、という理由もあります。Mapper)に時間を取られてるケースのほうが多かったりはします。したFirestoreの監視は、極力アプリケーションレイヤーで担うべきではという考えがあったとしても、わからなくもないです。APIとDBの監視を考えても、経験上なんだかんだWebアプリケーション側でエラーを捕捉していることは多いように思います。FirestoreではCPUやストレージ容量といったマシンリソースを気にする必要はほとんどないため、実際にDB側で監視しないといけないような項目は、相対的には少なかったりもします。Suiteとかインパクト大きいです)、今後充実してくるものだろうとは思います。おわりに以上、Firestoreのオペレーション周りで困っていることを3つ挙げてみました。Firestoreは着実に良くなっているので、いま私が書いたような内容も、2年後には解決していることでしょう。Firestoreを利用した開発は、基本的には素晴らしいものです。1年半前だと、クライアントサイドに集中したい、さらにオフライン対応もしたいとなると、Firestore以外に良い選択肢はほぼない状態だったかと思います。いった意味でも、Firestoreの存在に感謝しています。現在であればFirestore以外にも色んな選択肢があります。DynamoDBやLambdaの資産を活かせるAmplifyは機能面ではFirestore(Firebase)に勝るとも劣らないですし、hasuraのgraphql-engineのようなものもあります。Replicacheも興味深いなと注目しています。良くも悪くもFirebaseはマーケティング(見せ方)の部分で成功している一面があるとは思うので、流行りに惑わされず、自分のプロダクトに合ったものを採用していきたいものだなと考える次第です。今回書いたようなオペレーションでの悩みは、AWSだと問題ないものもあると思います。何かアドバイスなどあれば、twitterでお願いします。09:00Firestoreのオペレーションで困っていること3選Tweetもっと読むコメントを書く2018-10-03ウェブ・アプリから組み込み系ソフトウェアを扱うTipsウェブやiOS・Androidのアプリケーションから、プリンタ・POS・体重計などのいわゆる組み込み系と言われるようなハードウェア上のソフトウェアと疎通・連携する機能を開発するときのTipsをまとめます。開発者が利用するための環境・情報が整っているOSSや各種クラウドサービスとは異なり、組み込み系のソフトウェアは外部の開発者にとっては優しくないことが多く、見積もり通りの開発にはならない傾向が強いためです。設計・実装をはじめる前にやることハードウェアを選定する実現したい機能から逆算して、ウェブ・アプリから利用するハードウェアを選定します。外部の開発者に開かれていてSDK等が提供されているハードウェアとそうでないものがあったり、iOS・Android・Windowsアプリはサポートしていてもウェブ(JS)はサポートしていないものがあったりします。問題など色々問題があるので、潔く諦めましょう。妥協できないようであれば、ハードウェアベンダと提携したり、自社ブランドでハードウェアを開発する道を検討しましょう。Windowsの開発機を用意するウェブやiOS・Androidアプリを開発する人であれば、MacやLinuxで開発をするエンジニアが多いと思いますが、Windowsの開発機は事前に用意しておくほうが無難です。Windowsでの開発しかサポートしていない組み込み系ソフトウェアは結構多くて、なんだかんだ必要になってくるケースがあります。ドキュメントを一見して、Windows機は使わなくてもなんとかなりそうと感じても、実はWindows機でのみ動く開発用ソフトウェアを使わないと利用できない機能とかあったりします。実際に、SSL周りの一部設定はWindow機がなくてもできたのに、肝心なSSL証明書のインポートにはWindows機が必要だったとか、そういう経験があります。実装中にWindows機が必要であることがはじめて発覚し、そこからWindows機の選定と発注をしているようだと、余計なリードタイムが生じてしまいます。選定次第では数万円程度で済むので先行投資しましょう。ハードウェアを販売している営業マンとつながっておくハードウェアを販売している営業マン、さらにできれば、その先にいる開発組織と繋がっておけると開発が行き詰まる可能性がぐっと減ります。いうのも、組み込み系のソフトウェアは、まともなエラーログを吐いてくれないことが往々にしてあります。組み込み系ソフトウェアは外部開発者にとってはブラックボックスなので(OSSと違ってissueもコードも何も見えないので)、ログがないとなると何か詰まったときにはどうしても内部のつくりを知っている開発者に問い合わせたくなってきます。問い合わせると意外な答えだったり、隠れた機能を教えてもらえたりするものです。組み込み系ソフトウェアを開発している開発組織の情報はなかなか手に入らないので、販売会社にまずは問い合わせることになります。コールセンターやメールでの問い合わせは大抵役に立たないので(ソフトウェアに関することを答えるケーパのない人たちに繋がるので仕方ないですね)、そこから頑張って営業マンや開発者に繋いでもらいます。コールセンターや問い合わせフォームの中の人からはマニュアル化された答えしか返ってこない、さらには営業マンと繋いではもらえないと思いますが、そこは頑張るしかありません。(電話での交渉が得意な方に頼りましょう。)所謂ウェブ系のエンジニアなら大丈夫だとは思いますが、ベンダーが外資の場合は当然英語でのやりとりになります。実装・保守で意識することドキュメントを過信しない外部開発者の利用を想定している組み込み系ソフトウェアには大抵ドキュメントがあり、ウェブ上からダウンロードできるようになっています。SDKごとにサンプルコードとかが付いてたりします。残念なことに、何故か肝心なことが書かれていなかったり、普通に間違った記載がされていることがあるので、ドキュメントに頼ってばかりではいけません。SDKの中を読むことになりますし(そしてバグを見つけたりする)、結構雑なつくりだったりするのでびっくりすることもあります。パフォーマンス上の課題とかも、SDKを読み解くことで見つかったりします。組み込み系とウェブ系で言語や慣習が異なる以上、元々SDKの開発や言語に慣れていない人がSDKをつくってたりもするでしょうし、仕方ないのかなと思ったりもします。早い段階で、リアルな現場で一通りの動作確認をするなるべく早い段階で、ハードウェアを設置するリアルな現場で一通りの動作確認をします。ハードウェアの置き場がない、電源を確保できない、ネットワークが不安定だとか、ただ開発しているだけでは気づけない課題を発見することがあります。(実際に、そういう経験があります。)SSL通信の動作確認をする組み込み系ソフトウェアとの疎通には、プライベートなIPに対してHTTPやWebsocketで疎通したり、Bluethoothで疎通することになると思います。(ハードウェアにパブリックIPを当ててドメイン付与とかはしないでしょう。Contentで怒られてblockされたりするケースがあるでしょうし、iOSならATSの対応をどうするかといった話があります。ファームウェアのアップデートを欠かさないアップデート内容次第ですが、ファームウェアのアップデートには追従できるようにします。OSSのバージョンアップデートの考え方とほぼ同じ考え方でいますが、例えばセキュリティの脆弱性対策とか、ブラウザの自己証明書に対する扱いの変更に関するアップデートとか重要なものもあり、アップデートに追従できないと機能が死ぬケースもあります。私はまだ開発したことはないですが、他社にハードウェア一式もろともSaaSとして貸し出すPOSシステムなど(Airregiとか)は、どうやってファームウェアアップデートを管理するかとか、ちゃんと設計しないといけなさそうですね。まとめ組み込み系ソフトウェアとの連携機能をそんなすごい数開発したわけではないですが、いままで詰まったこと、こうしたほう良いなと思ってたこと、またよく起きることをまとめてみました。個人的に、大抵どこかで詰まるのであまり開発に乗り気になれる分野ではないのですが、でも機能が一通りできたときの達成感は並以上のものがあるので、また機会があったら率先してやってみようと思っている所存です。16:00ウェブ・アプリから組み込み系ソフトウェアを扱うTipsTweetもっと読むコメントを書く2018-08-065年前に自分がつくったRailsアプリをリファクタした話8月に入り、晴れてフリーランスになりました。ありがたいことに色々とお仕事のお話を頂きまして、今月から創業間もないスタートアップ2社に微力ながらお力添えさせていただくことにしています。7月はほとんど有給消化期間で、結構のんびりしていたのですが、いろんな人にお会いしてお話したり積読本を消化したりする傍ら、5年くらい前に自分がぱっとつくってほぼ放置していたRailsアプリのリファクタ、パフォーマンス・チューニングをしていました。30万pv/monthしかない小規模なウェブサイトですが、一週間くらい頑張ったらだいぶマシになったので、やったことを晒します。(大したことやってないですが、近況報告程度に。独学で臨んだのですが、何かと不安に思うところがあって辛かったので、私のような思いをする受験生の支えになりたいと思ったのが立ち上げのきっかけでした。以下、このサイトの特徴を挙げます。数日に一回程度、受験生からの質問がある。Engineと色々お引越ししてきている(チューニングはしていないが、最低限のインフラ環境は整っている)ずっとikstudieに関わってきてIT系に勤める有志の仲間たちと、これからちゃんとエンハンスをしようという話になったのが、今回のリファクタのきっかけです。中のコードがひどかったり、当たり前品質と言われるようなところに問題があったので、まずはリファクタしないと先に進めないという認識でした。何はともあれまずは現状把握と解析ぱっと調べられる範囲でいろんなツールを使って解析したり、主要ページのコードを眺めたり、全画面に遷移して挙動の確認をしてみました。rubocop(linter)を走らせるrubocopはRubyのlinterです。設定は妥協に妥協、かなり甘くしてあります。autocorrectを走らせ、linterのターゲットをコントローラーとモデルだけに絞った結果、これだけoffensesが出てきました。)Fatなコントローラー・モデルに対して、もっと小さくしろよと怒ってるのがほとんどでした。自分の目でコード一行一行を読んでいくともっとツッコミどころ満載だったので、あくまでrubocopで補足できる範囲での数値です。Rubyっぽく柔軟に書けば読みやすいしコード量も1/3以下で済むのに、みたいな記述がたくさんあった感じです。Railsアプリとしてのコード品質をrails_best_practicesでチェックrails_best_practicesは、その名の通り、Railsらしい記述を指南してくれる静的解析ツールです。Warningの数もさることながら、カラムにindexが付いていないだとか、結構重要なところでも怒られました。Warningのほとんどは、viewの書き方が汚いよ・間違っているよと怒っていて、地道な修正が必要そうでした。SkylightでパフォーマンスモニタリングNewrelicでも良かったのですが、今回ははじめてSkylightをつかってパフォーマンスモニタリングをしてみました。Newrelicのほうが機能はリッチでしたが、価格もリッチだったうえ、Skylightでも今回は困りそうになかったためです。Responseで244msは、うーんって感じですね。poolとかにボトルネックがある様子もありません。Responseでは1.5s以上のものも散見されました。ActiveRecordのクエリは遅くても20msで返ってきていて、Viewの生成にすごい時間がかかっていました。Lighthouseによるフロントからの評価SEOの100点が眩しいですね。(一応メディアなので、ここはクリティカルなポイントでした。Practicesが気になります。細かい設定は色々指摘されましたが、画像周りが大変そうな印象。Warningが出てたりしたので(パラメーターを直に使ってSQL叩いてたところがあったので)、本当に駄目なやつは昔直してました。Githubのセキュリティアラート自分は、つくっては放置しているリポジトリがいくつもあるので毎週怒られてます。alertが挙がっていました。(が、内容ちら見したうえでいままで後回しにしてました。管理画面を見たり、本番データを複製したDBにクエリ投げてみたりして使われていない機能をぱっと洗い出しました。記事をマイリストする機能、いいね!する機能などが使われていないことがわかったり、使われていないカラムが沢山あることが判明しました。queryは引っかかりませんでした。愚直に手動でE2Eテストテストケースを列挙して丁寧にやったわけではないですが、全画面の挙動を確認しました。ログイン機能が一部壊れてたり、もう色々壊れてました。全体的にひどかったのがレスポンシブデザインで、例えばトップページでも下記のように崩れていました。いった感じの分岐がいたるところに入っていました。リリース当時はレスポンシブデザインだったはずなのですが。(UserAgentで切り分けているので、スマホでikstudieを見たら崩れてはいなかったです。)CSSに一貫した命名規則がなく(bootstrapっぽいもの、SMACSSっぽいもの、安易な命名とか混在してた)、少し触るとすぐレイアウトが崩れそうなので、それが一因してjpmobileを多用したのかなと伺えます。そんな考えてないです。目標を決める現状把握は一日くらいでぱっと済ませたので、その後4日くらいで達成する、リファクタのMUST要件(目標)をゆるく、ざっくり決めました。上から優先度高めです。当たり前品質(壊れたレイアウト・機能の改修)View層で動的な部分はほぼ全部書き直しました。CSSの設計が破綻してたので、エンハンスする可能性がありそうなページは書き直しておくことで後々うれしい気持ちになりそうだったためです。問題になっていたjpmobileは極力取り除き、書き直したページは一部を除きレスポンシブデザインに戻りました。(UserAgentでのViewの条件分岐はなくしました。)View層は私以外にも触る人がいるので、Reactjsとかは入れずに、以前から入っていたslimというテンプレートエンジンを採用し続けました。私以外の人はエンジニアとして生活しているわけではないので、学習コストがない状態にしたかったためです。愚直に直しただけです。静的なページは、後日優先順位をつけて改修する必要があるかもしれません。ちなみに上の画像のフッターに出てるLINEへの送客は、どれくらい送客できるか、ikstudieのユーザー層はどうなっているかを検証・確認するためにやってみたのですが、結構良い・面白い数字が出ています。受験生の集客、つまり広告として成り立ちそうだなーとか考えています。(受験に関連するiOS/Androidアプリつくって送客しても良さそう。Responseは大体40~60msになりました。(1/5くらいになりました。)ループを回してHTMLを生成している部分が概して遅く、Railsが標準で提供しているフラグメントキャッシュという、生成したHTMLをキャッシュする機構を多く使いました。キャッシュストア、またセッションストアにはRedisを採用しています。N+1は意外と少なかったのですが、利用しない(検討した結果利用する予定もない)AccessLogやEventLogをinsertするクエリが各リクエストにあったり、他にも不要なクエリがいくつかあったので削ったのも少々効きました。あとはrenderメソッドのチューニングとかも効いてそうです。キャッシュのヒット率を高めるためにキャッシュの有効期限は長めに取ってますが、記事の検索結果のページとかはヒット率が低いので、ひどいと500msとかかかってしまうケースもまだあります。Skylightをつかってて嬉しかったこととして、週次でどれくらいパフォーマンスを改善したのかが送られてきます!StaticPageController#homeはトップページなのですが(全然Staticじゃないので命名が意味不明ですね。負債具合が伝わりそう。)、9倍になったらしいです。記事のページは141msとかかかってるので、まだ改善が必要そうですね。エンハンスしやすい形に(不要な機能、コード、テーブル、カラムの除却)前述したAccessLogやEventLogもそうですが、不要なテーブルやカラムが散見されたので、凍結したりdropしました。マイリストの機能は改修がちょっと大変な割には本当に使われてなかったので、一旦凍結しました。ログインが必要なために使われていなかった「いいね!」機能は、ログインしなくても利用できるようにしました。コード量も全体的に削っていて、PRのコード量を単純にみたら3600行削ったようです。alertでのwarningやerrorは全てゼロにしました。静的コード解析上では常にクリーンな状態を保つことである程度のコード品質を担保したかったのと、コード品質を表現する尺度を他のコントリビューターにもみえる形で設定したかったという意図です。CIは、いまのikstudieでは無料で十分使えるCircleCIを採用し、元々あったdockerの開発環境をそのまま利用する形でぱっと構築し静的解析を走らせるようにしました。(コンテナのキャッシュとか設定してないので1回のRunで13分前後かかってて、いつか改善したいです。)ブランチ戦略も簡単に設けて、masterとdevelopブランチはprotectし、基本的にdevelopからfeatureブランチを切る形にしました。Staging環境をHerokuで無料で構築し、developブランチにPRがmergeされたらデプロイされるようにしました。masterブランチにPRがmergeされたら本番環境にデプロイされるようにもしました。ユニットテストとかは書いてないですが、コントローラーもモデルもスリムであまり量がないので、これからエンハンスしながら書き加えていこうと思います。余談リファクタのPRを本番デプロイ後にLighthouseで確認してみたところ、数値がそこそこ改善していました。Nginxとかの細かい修正が少なくなかったですが、Performanceに関しては、CDNとしてCloudFrontを導入してCache-Controlを長めに設定したこと、S3に置かれている画像オブジェクトを全部圧縮したこと(pngの圧縮は時間がかかりました)、またLayzr.jsをつかって一部の画像を遅延読み込みさせたこととかが、効いていそうです。Beanstalk(というかAWS)に移行しています。pool、GC周りとかもそれっぽい数値を改めてぱっと設定して様子見しています。これから優先順位は高くないもののまだリファクタしたいことはいくつもあるので、「心置きなく」というわけにはいきませんが、エンハンスには着手できそうです。今年はぼちぼち既存のウェブサイトの最適化を図る予定ですが、アプリの開発やリアルでのイベント開催などでもできること・やれることは沢山あるので、仮説検証をしつつコードも書いていていきます。興味がある方はtwitterでDMください。リファクタの感想あくまで個人開発なので全然しっかりしていない開発・リファクタですが、一応満足。09:005年前に自分がつくったRailsアプリをリファクタした話Tweetもっと読むコメントを書く2018-07-09リクルートを退職します7月末にリクルートを退職することにしました。今日から有給消化です。(はてぶで「政治経済」カテゴリに自動分類されてしまったので、タイトルに「エンジニア」と追記してみました。「テクノロジー」カテゴリいきたい。)リクルートでやってたこと「SUUMOを内製化するぞ!」ということでリクルート住まいカンパニー(以下RSC)に出向となり、インフラエンジニア、スクラムマスター、iOSエンジニアなどのロールで2年半弱SUUMOの開発をしてきました。入社当初の「内製化」は紆余曲折あってすぐ雲散霧消したのですが、30年以上の歴史があるSUUMOの、特に賃貸領域をいかに伸ばすかというところに力を入れてきました。(以下はRSCに限った話で、リクルートの他グループ企業では違った事情があると思います。)リクルートはどうだったか入社当初は戸惑いばかりでしたが、いま振り返ると学べたことがだいぶあったと満足しています。感謝していることこの2年半、感謝することばかりで挙げればそれこそキリがないのですが、リクルートという会社(場)にフォーカスすると、会社の枠を越えて本音で話してくれる、応援してくれる大人が沢山いることが、私にとって一番ありがたかったなと思います。自分の拙い文章では、具体的に書くとエモくなったり陳腐化したりしてうまく表現できないのですが、ワーワー言いながらみんなで良い方向を目指して頑張っていた感じだったり、業務外でもいろんな縁があったり、自分が本音で相談したらポジションを抜きに本音で答えてくれた人が沢山いたところが良かったです。入社して戸惑ったことリクルートに入って1年目は、組織に振り回されて色々悩みました。SUUMOという巨大メディアを内製化するにあたって、自分は純粋なエンジニアとして入社したつもりだったのですが、人に依ってはパートナーマネジメントを期待してきたり、要となる人が色んな事情から諦めてしまったり、エンジニアリングマネージャーがいなかったり、(なので仕方ないんですが)上司のマネージャーにエンジニアリング上の課題を伝えるのが大変だったり。大規模なサービスの内製化界隈は大変でした。いまは、リクルートの他グループ会社の方々の助けもあって、当時ほど組織について悩むことは一切ありません。組織が出来上がって落ち着きすぎていて、あの頃はワーワーいって楽しかったなと思ったりもするので、不思議なものです。(自分は、きちっと環境が整っている場所より、ワーワー言ってみんなでどうにかしようと働きかけられる場所のほうが好きだということに気づきました。)学べたこと、成長できたこと自分の技術力やマインドに限った話をします。デカいサービスを開発する難しさ自分がもともとリクルートに入ったのは、大きな企業で大きなサービスをつくるエンジニアとして10→100の知見を得たいという動機からでした(たぶん)。この動機は十分に満たせました。コード量はもちろんのこと、全体的な設計としてもSUUMOは本当にデカいサービスで、その理由はいくつか思い当たるのですが、そのうちの一つとして複数のドメインを扱っているからデカいというのがありました。SUUMOは賃貸・新築マンション・中古マンション・注文住宅・リフォーム等々の、不動産産業の複数のドメインを扱っています。していること等が各ドメインで異なってくるため、SUUMOとしてもKGI・KPI、売りの立て方などが各ドメインごとに異なってきます。いうことは、企画する人は各ドメインにいるし、実装する企画の規模・内容は各ドメインで異なってきます。開発体制を例とすると、あるドメインは基本的にウォーターフォールで数ヶ月かけて開発して大きなリリースをするけど、あるドメインは基本的にアジャイルに毎週にでもリリースをしていくみたいなことになったりします。開発者もかなり多いので、チームをまたいで密に連絡を取りつつ、いかにコンフリクトしないかとか、齟齬らないかとかを気をつけて、日々工夫して開発をしていました。ソフトウェアエンジニアとして、こうした環境のもと、社会に影響力がある大きなサービスを丁寧にしっかりと、でも一方でアジリティをも意識した開発をできたのはとても良い経験だったと感じています。前職やインターン時代にベンチャーで働いていたとき以上に、品質に問題のないもの作ったり、先々のことを見通したりといったことが確度高くできるようになったと感じていて、技術の基礎力の底上げになったことは間違いありません。技術力以外のソフトスキル(対人能力的なもの)が鍛えられたとも感じていて、大きな組織でのチームづくりを経験させてもらえたことで、いまではエンジニアリングマネージャーとしてのキャリアも現実的に考えられるようになってきたと感じています。インフラに関していままでインフラだけに集中して業務に取り組んだことがなかったのでスキルセットを広げられそう、負荷はあるだろうしサービスがデカいことを1番実感できるのはインフラだろう(実際はそんなことなかった)、対応の優先度が高いシステム上の課題や改善ポイントがある等々の理由で「インフラやりたい」と当時の上司やチームに打ち明けたところ、SUUMOスマホサイトの環境を任せてもらえました。(働く本人の意志をちゃんと考慮してもらえる文化がリクルートにはあると思ってます。Deploymentの仕組みを構築して云々といったことを通じて、インフラに関するスキルがぐっと上がりました。途中で上司が強いエンジニアを連れてきてくれて、色々教えてもらえたところも貴重な機会でありがたかったです。エンジニアリング以外のハードスキル自分が一緒に働いた企画者は優秀な方ばかりで、エンジニアだろうが一朝一夕では身につけられない、エンジニアリング以外のハードスキルってあるんだなーと痛感しました。KPIツリーの構築、グロースハックの施策、未来への仕込みなど、「なるほどなー」と感じさせられた場面が度々あったり、CACやLTVだとか入社前は全然知らないワードも自然と耳に入ってくる環境だったので、エンジニアリング以外のマーケティング・ファイナンスの領域にも食指が動くようになりました。入社してすぐにリモートワークが解禁され、全職種でリモートワークが一時的に流行しました。昨年下期あたりからRSCのエンジニアはリモートワークが非推奨になり、最近では企画職とかでも、リモートワークは週1日以下の人がほとんどではないかと思います。SUUMOは業務委託のパートナーさんやベンダーさんが多く、パートナーさんのマネジメントが疎かになりがちだったこと(社員はリモートで開発していて、パートナーさんが常時オフィスで開発するといった、なんか変なことが起きていた)。過去の経緯上SUUMOはなにかと仕様が複雑で、リモートでの開発がパフォーマンスの向上に結びつきにくかったことなどが主な理由です。SUUMOの場合はオフィスにみんなで集まって開発をするほうが作業が捗るのは確かなので仕方ないことだと納得していますし、昨今のリモートワーク推進の流れに反する面白い経験をできたなと思います。勤務時間については、入社時との大きなギャップでもありますが、夜まで残ってがっつり働くみたいなことが制度上難しいような、わりとまったりとした環境でした。些事ではありますが、オフィスが移転して勤務地が東京駅から田町駅に移りました。リクルートは東京駅だという思い込みがあったので、田町に移転になったときはざわざわしました。知見が落ちているリクルートにはいま、株式会社リクルートテクノロジーズ(RTC)という機能組織を軸にして、ソフトウェア・エンジニアリング各界の著名人が集まっています。この分野ならあの人だな、という人達が雇用形態を問わずいろんな形で在籍しています。SUUMOのアプリ開発でアジャイルに動けるチームを立ち上げるといったミッションを私が担ったとき、@i2keyのアウトプットには大変お世話になりました。アジャイル・リーンといった考え方はもちろん、フロー効率・リワークチャートといったリクルートにいなければキャッチアップできなかったであろう概念をいちはやく知れたことや、それらの概念を考え出す場面をslack上でちら見できたところとか良い学びでした。10のフェーズの仕事も沢山ありますし、海外での仕事やR&Dといった仕事もあります。株式会社リクルートテクノロジーズ(RTC)を通じて、いまではRSCのエンジニアも他領域の全く違ったフェーズの仕事にトライすることができるチャンスがあるかもしれないので(制度化されているわけではないと思う)、まだ自分がどこで勝負する人間なのかが見えていないエンジニアとかにも良い環境なのかなと思ったりします。(社内転職みたいなものなので、転々とするのはそれはそれで苦労があるかもしれません。世間が狭い私はあまり実感できていないのですが(個人事業主としても活動してるからかも)、待遇に関しては「下駄を履かされる」と言う人が少なくないように思います。私が良かったなと感じているのは、ちゃんと仕事をすれば評価してもらえて、それが待遇に反映されている納得感がありました。給与はちゃんと上がります。辞めるのか基本的には満足していた私ですが、なぜ辞めるのかというと、自分が解決したいと思える課題に対して、もっと自分の意志が介在できる形でアプローチをしたいと考えているためです。端的にいうなら、スタートアップをやりたいと思っているのですが、リクルートの新規事業制度を通すよりも自分の意思を反映でき、かつハイリスク、ハイリターンな形を取りたかったという経緯です。直近は個人事業主としてお金を貯めつつ、何にどうコミットしていくのかを考えていこうと思います。最後に本当お世話になりました!お疲れ様でした!またどこかで一緒に仕事できるとうれしいです。あと、twitterを数年ぶりにやりはじめたので、フォローしてもらえるとうれしいです。@takuwan0405です!長文にも拘らず、最後まで読んで下さりありがとうございました。読者になる検索リンクはてなブログブログをはじめる週刊はてなブログはてなブログPro最新記事Firestoreのオペレーションで困っていること3選ウェブ・アプリから組み込み系ソフトウェアを扱うTips5年前に自分がつくったRailsアプリをリファクタした話リクルートを退職します自分の評価は、直接聞きに行かないとわからない月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。