既存データコピーデータコピー時のパフォーマンスを見てみた。分散SNSソフトウェアであるMastodonには、クラウドストレージとの連携機能が存在する。APIを使って画像や動画データの格納とキャッシングをさせるというもので、概要としては以下の通りになる。Device)+NFSで構成する共有ストレージに配置したばかりなんだけれども、以前もそうだったんだけどCephでちゃんと使ったのってRBDしかないなぁ・・と言うことに気づいた。Gatewayの機能。GatewayとMastodonが持つS3保管させる機能を併用してみることにした。Gatewayの役割を構成する手順を実施する。Gatewayの役割を割り当て済みだったりする。Gatewayを構成する方針としている。Gatewayユーザを作る以下のようにコマンドを入力して、オブジェクトストレージとして取り扱えるユーザを追加する。--email=words@bluecore.netユーザ作成後、ユーザ情報を出力してアクセスキーとシークレットキーを確認する。secret_keyは重要なので必ず情報を保存すること。HTTP接続で待ち受ける。Gatewayいじるのは手間がかかると判断して、今回自前設備に既にある統合リバースプロキシにて新たにVirtualServerを立てる&SSL終端を構成することにした。して以下のコンフィグを作成した。}}基本的な思想としては以下の通りです。到達したら、要求を通すHTTPS接続要求が/mastodon以外に到達したら、要求を拒否する(ただし指定IPに限る)で、Nginxを再起動させれば取り敢えず大丈夫そう。構成だと、アクセス先=radosgw.bluecore.net⇒統合リバースプロキシとなるように名前解決構成を組む必要がある。当該名前解決は内部だけでなく、外部からの名前解決も同様に行う必要がある。外部名前解決を忘れてしまうと、UI上で表示される画像・動画の全てがリンク切れを起こすので注意すること。S3で定義される単位も同一である。入れ物としてバケットを作る必要があり、データコピーやアクセスをする際はこのバケットを選択して実行する。実はこうした一連の操作はAWSでも行うことが可能であったりする。CentOS7環境だと以下のようにしてpipを使ってawscliのインストールを行い、設定することが出来る。json-----これでバケットを作成可能になる。radosgw-adminコマンドからバケットのリストを出力させて、意図した名称のバケットが作られたかを確認する。"mastodon"]-----既存データコピーAWSコマンドを使用して以下の通りCeph領域の配下にデータ同期を行う。s3://mastodonデータコピー時のパフォーマンスを見てみた。iostatコマンドを使用することで、スループットやIO量の確認が出来る。見た感じ、思った以上にデータコピーのペースが速い。RESTAPIを介したからなのか、どうも細かいデータの大量処理はそこまで苦手ではなさそう。|Anonymousアクセスを許容するS3互換領域に対しては、外部からアクセスする他インスタンスや利用者が直接アクセスしに来る。Gatewayを示しているからである。デフォルトだと作成したバケットにはAnonymousアクセスの許可は出ていないので、以下のように読み取り占用のアクセス許可を作って出す必要がある。以下のようなJSONファイルを作成する。]}続いてs3cmdを使用してポリシーの適用を行う。今回、awscli以外に、s3操作に特化したs3cmdもインストールしてみた。Cephを相手にする場合の注意点を以下の通り示す。★空欄でよさそうそして以下の通りポリシーをセットすることで、Anonymousアクセスが可能になる。今回k3s上に構成している我がMastodonインスタンスには、.env.productionで必要な変数を格納したConfigmapとこのConfigmapを介してアクセスするSidekiq用Deploymentファイルが存在する。これらの修正を行って反映する。configMapに対して以下S3関連設定を「追加」する。Gatewayを担保するFQDNを一貫して割り当てる感じになる。Signatureバージョンの指定を「s3」にする必要がある。これをやっておかないと、いざSidekiqが処理しようとする時に、Signature不一致でエラージョブがどんどんたまることになる。Pod作成ファイルの修正こちらは実はやらなくても良いことだったのだけど、処理キュー数を5->15に変更する際、DB_POOLの値を指定しなかったが故に、DB_Poolが枯渇してしまうと言う情けない現象を目の当たりにした。それをあわせて修正する形となった。deployment/mstdn-sidekiqできあがった後はSidekiqのダッシュボードから、再試行ジョブが増加してないことを確認するなど、ジョブの運行状態を確認して正常動作が分かれば作業は完了となる。Kubernetesに限らず、Dockerを使用する環境において、ネットワークは「コンテナホスト内のプライベートIP」を構成し、コンテナはコンテナホストの所有するIPアドレスを使用してNATを行い...技術のお話し[Storage]SSD使ってキャッキャウフフしてみるふと思い立った。システム情報のサマリーを表示してくれるコマンド「prtdiag」というコマンドを使うんだそうな。現在、HQから災対サイトに対してデータのバックアップを取得しています。これはCIFSもNFSも同様に行っていることなんですが、NFSに関しては毎日5:00-6:00にバックアップを行っています。3560にてipv6を実装した。StoreOnce-CatalystタイトルとURLをコピーしました。