何が問題なのか?CLIのインストールCLIの設定フォルダのアップロードパブリックアクセスとバケットポリシーの設定まとめやること筆者は宗教上の都合でAWSに触ることができないのですが、仕事ではそうも言ってられず、S3にファイルをアップするくらいの作業は行います。(なぜそんな宗教に入信したかについてはまたどこかで説明しなければならないと思いますが)皆さん思うでしょう。「ファイルのアップロードくらいは問題ないだろう」と。AWSはそんな甘い世界ではありません。あなたがそんな甘い考えでAWSに触れようとしているのであれば(自主規制)今回はS3に大量の画像ファイルをアップロードしてブラウザからアクセスする方法をメモします。環境Windows10(64bit版)何が問題なのか?ブラウザを開き、AWSのマネジメントコンソールからS3に入ります。使う場合はバケットを作成します。フォルダやファイルが並んでいます。ここに新しく「result_save」という約1.4GBのフォルダをアップロードしたいと思います。「アップロード」ボタンから手続きを進めます。このとき「160GBよりも大きいファイルをアップロードするにはCLIを使用します」という注意書きが見えますが、1.4GBなので「次へ」でアップロードを実行します。画面下部にアップロードの途中経過が表示されます。結論から言うとアップロードは失敗します。通信環境にもよりますが、速度が10~100KB/sのため「一晩放置しておけば終わるか」と思っていると、なぜかだんだん速度が落ちてきて、朝起きても20%台で油を売っていることがよくあります。ページがクラッシュして失敗しています。AWSエンジニアの方に泣きついたところ、CLIを使用せよとのこと。何MB以上のファイルでCLIを使用すべきかの基準は分かりませんが、プロがそう言っているのだからそうなのです。FTPクライアントソフトを使うことも考えましたが、プロがCLIと言うからにはCLIです。AWS関係のトラブルを自分の考えで解決しようとするのはナンセンスです。百戦錬磨のサーバー担当者もボロボロ躓きます。それくらい、AWSはその辺の仮想サーバーとは質的に異なります。AWSエンジニアの言うことには絶対的に従うべきです。CLIのインストール正直なところ、CLIが何を意味しているのかはよく分かりません。理解する必要はありません。AWSには特殊な用語が星の数ほどあって、意味を調べてもキリがないからです。CLIとかIAMとかの略語はもちろん、S3やEC2といったサービス名もすべて固有名称です。Windows10へのCLIのインストールは次のページのステップ1~3に従います。手元のPCと遠くにあるS3を紐付けて、ファイルをアップロード可能な状態にします。使用したクイック設定」に従います。アクセスキーIDとシークレットアクセスキーの取得方法も載っています。やり取りするための設定を指定します。docs.aws.amazon.comフォルダのアップロード指定の親フォルダの中身をアップロードします。ここでは「result_save」の中にある5つのフォルダをアップロードします。Windowsのコマンドプロンプトを開き、対象の親フォルダがある場所に移動します。親フォルダのプロパティからパスをコピーし、cdのあとに貼り付けると楽です。パスアップロードのコマンドです。親フォルダより下の内容をアップします。バケット内のさらに下の階層にアップしたい場合はそのようにパスを指定すれば良いのではないかと思います。s3://あなたのバケット名/通信環境にもよりますが、私の場合は1.4GBが8分程度で完了しました。※追記:120GBだと6時間程度でした。画像ファイルにはURLが割り当てられていますが、このままではブラウザからアクセスできません。URLを叩くとこんな感じ。アクセス権限>ブロックパブリックアクセスから、すべてのブロックを解除して保存します。アクセス権限>バケットポリシーから、ポリシージェネレーターに飛びます。Policy」を押します。記述部分はこんな感じarn:aws:s3:::あなたのバケット名/*生成されたおまじないを先ほどのバケットポリシーエディターに貼って保存します。こんなおまじないです。]}これでブラウザからS3上の画像にアクセスできるようになりました。バケット名や配下のフォルダ構造、ファイル名が流出したら誰でもアクセスできる状態ですので、このあたりのアクセス権限の設定は別途がんばってください。まとめ「AWSなんて数ある仮想サーバーの一つでしょ」と思っていると痛い目に遭います。AWSはあなたがコツコツと積み上げてきたサーバーの知識やテクニックが通用しない領域です。分からないときは素直にAWSエンジニアにお願いしましょう。WebアプリAWSこの記事を書いた人Yasuda博士(理学)。専門は免疫細胞、数理モデル、シミュレーション。米国、中国で研究に携わった。遺伝的アルゴリズム信者。物価上昇のため半額弁当とともに絶滅寸前。※本記事は社会通念上繊細な内容を含んでいます。シンプルなWebページのスクレイピングを試してみましょう。Webサーフィンを楽しんでいるときに「毎回表示されてウザいもの」ってありませんか。卒論アンケートのための自動回答プログラム2021/02/012022/01/18無料パッケージ「vcopt」チュートリアル「vcclick」チュートリアル「vcscraping」チュートリアル「vcracing」チュートリアル有償アプリ「vcStitching」チュートリアル遠隔オーダーメイド靴はこちら来店不要のフルオーダーメイド靴「Shoe-Craft-Terminal」GAカレー停止中GAカレーの概要フォローする質問やコメントはSlackでお気軽にSlackに参加するYoutubeでライブ配信していますYoutubeを見る勉強会でコードを配布していますconnpassを見るTwitterでも情報を発信していますTwitterをフォローするタイトルとURLをコピーしました。