AWSのRDSのmySQLにCSVを一括入力する(EC2経由)|おちゃカメラ。お問い合わせAWSのRDSのmySQLにCSVを一括入力する2020.01.20ブログWeb・プログラミングこちらの記事もどうぞAWSのEC2からRDSに接続してmySQLを操作。EC2踏み台サーバー構築メモAWSでサーバーレスに画像リサイズとDB構築。LambdaからS3とRDSを同時に扱うにはこの記事名とURLをコピーする本日限定Amazonタイムセール開催中セール商品を見に行く本日限定Amazonタイムセール開催中セール商品を見に行くRDSで立ち上げたmySQLサーバーに、大量のデータが入っているCSVファイルを一括で追加するまでの流れをまとめてみたいと思います。簡単に流れをまとめると、全体の流れは以下のようになります。EC2を立ち上げるRDSを立ち上げるEC2にCSVファイルを転送RDSのmySQLでEC2にあるCSVファイルを一括追加1と2については、前回の記事をご覧ください。EC2とRDSのセットアップEC2からRDSに接続してmySQLを操作。EC2踏み台サーバー構築メモhttps://tea3.github.io/p/aws-ec2-to-rds-connection/今回は3と4の手順について、まとめたいと思います。INFILEで一括追加してみたいと思います。構成図は前回と同じで、SSHのみを許可した踏み台サーバーのEC2とRDSを立ち上げます。©EC2にCSVファイルを転送するEC2インスタンスが立ち上がったら、CSVファイルを転送します。転送にはSCPコマンドを使います。ec2-user@12.34.567.89:/home/ec2-user/コマンドのオプションは以下の内容を設定します。ポート(SSHなので22に指定)エンドポイントは/home/ec2-user/と指定すると、EC2のルートディレクトリにCSVファイルが転送されます。転送後、EC2に入って、CSVファイルが保存されているか確認してみましょう。lssample.csvlsコマンドで見てみると、ルートディレクトリにsample.csvが存在しているのが確認できました。続いて、RDSのmySQLに接続してみます。インスタンスからRDSインスタンスのエンドポイントを確認しておいてください。yourPasswordここで、データベースとテーブルが作成されていない場合は、予め作っておきましょう。仮にデータベース名をscoreDB、テーブル名をtestScore2016とします。(`no`));mySQLからCSVを一括追加RDSに接続し、テーブルを作成したら、EC2にあるCSVファイルをインポートします。INFILE構文を使います。OKと出れば、CSVファイルの追加は完了です。LINESを指定します。文字セットを揃えるインポートするCSVファイルは、RDSで設定した文字コードと同じとなるuft-8で用意します。INFILE構文を使って、データを投入するとエラーが出る場合があります。WARNINGS;でエラー内容を確認します。|+---------+------+--------------------------------------------+例えば、上記の場合では、CSVファイルの一部のデータに値が無いときに発生する警告です。今回はスペースを入れて対処しました。Watch監視メトリクスは以下のような感じになりました。メトリクスの見方は全て理解してしいないので、ひとまずデータだけ貼り付けておき、後で見返すようにしたいと思います。上記の監視項目は以下のようなものとなっています。性能はベースライン性能にとどまる未使用のCPUクレジットは、最大24時間有効という事だそうです。変更してみました続いて監視項目の2ページ目です。上記の監視項目は以下のようなものとなっています。MB各項目については以下が参考になりました。Auroraの運用時に監視できる項目についてちなみに、select後はこんな感じになりました。©まとめAWSのRDSで立ち上げたmySQLサーバーに、大量のデータが入っているCSVファイルを一括で追加しました。数千件のデータであれば、1秒未満で投入できるようです。(てぃー)InstagramTwitterYoutubeノスタルジックな写真や映像撮影が好きです📷✨当サイトではカメラ関連製品の魅力を中心に情報発信を行っています。RAW現像教室」タグIT・プログラミングAWSRDSEC2mySQLスポンサーリンク関連する記事Youtube作例&製品レビューGalleryおちゃカメラ。プライバシーポリシーコンテンツの保存及び転載は固くお断りいたします。当サイトに記載されるコンテンツ(文章・画像等)は著作権により保護されています。万が一コンテンツや写真の盗用・二次利用が見つかった場合には500pxの写真販売価格を参考に差止め請求及び使用料または損害賠償請求をさせて頂く場合がございますので予めご了承下さい。記事に関するお問い合わせや寄稿についてはお問い合わせフォームまでお願いいたします。hexo.お問い合わせポートフォリオフィード。