Colaboratoryでzipファイルの解凍とか。フリーランスエンジニアの独り言。Python、Rails、AWS。Colaboratoryでzipファイルの解凍とか。Colaboratoryに移行したら調子良かったので記事書くことにしました。Colaboratoryに移行しようとしたきっかけ普段からJupyter使っていたんですけど、kaggleのコンペのCSVファイルを開くときにメモリ8Gだといっぱいいっぱいになることがありました。ブラウザが応答なし状態になって、しばらくしてやっと結果が表示されるんですが、その間PCを使えなくなっちゃうので不便を感じたので、ぼちぼち対策せねば~というのがきっかけです。対策としてはPCのメモリを拡張する。笑PCを買って並列処理させる。笑クラウドサービスを使用する。考えたんですが、とりあえずお金も手間もかからないクラウドサービスを使うことにしました。Colaboratory」ってでてきたので、とりあえずこれでOK。基本的な使い方を説明しましょう。だいたいJupyterと一緒ですが呼び方が違ったりボタンの場所がちょいちょい違うのでメモ。コードの追加方法コードを追加する方法は下図の赤枠の中にある「+コード」っていうところをクリックします。ランタイムの接続方法コードの内容を実行するためにはランタイムを接続する必要があります。ランタイムの接続は下図の赤枠の「再接続」をクリックし、「ホスト型ランタイムに接続」を選択します。数秒~15秒くらいで接続完了すると思います。RAMとディスクの使用量が表示されたら接続完了です。GPUやTPUの切り替えランタイムのハードウェアアクセラレータはGPUやTPUを選択することができます。メニューの「ランタイム」>「ランタイムのタイプを変更」から変更できます。Colaboratoryとでやり方が違います。Colaboratoryはクラウドサービスなのでローカルパスを指定することができません。Driveにファイルをアップロードして使用するのが一番分かりやすくて手っ取り早い方法です。Driveにzipファイルをアップロード正確に言うとzipでなくともCSVファイルをそのままアップロードして読み込むことができます。ギガバイト級のファイルをアップロードするとなると結構な時間がかかってしまい、Jupyterから乗り換えるメリットがあまり感じられません。CSVをzip形式に圧縮するとサイズが小さくなるのでアップロードが短い時間ですむようになります。Driveの領域を圧迫せずに済むので、zip圧縮することをおすすめします。CSVファイルzip形式に圧縮します。これはローカル環境で圧縮ソフトを使用して行います。Driveにアップロードします。Driveはドラッグドロップでファイルをアップロードできます。Driveをマウントします。「ドライブをマウント」を選択します。するとコード領域にマウントするためのコードが出現するので実行します。https://...」というリンクが出現するのでクリックします。認証画面で「許可」ボタンをクリックすると認証コードが表示されるのでコピーします。code:」の四角の中にコピーした認証コードを入力します。Enterキーをポンッと押します。/content/drive」というメッセージが表示されればマウント完了です。Driveにアップロードしたzipファイルを解凍します。下記のようにコードを入力して実行すればOKです。※パスは適宜変更してください。Notebooks/ashrae-energy-prediction/weather_train.zip"ちなみに「!」を先頭につけるとlinuxコマンドが使えます。lsとかも使えるので、パスがわからない場合は参考にしてください。あと、ネットで調べたら結構違うこと書いてあったのですが、今はこれがシンプルな書き方です。Driveの領域を圧迫することはありません。Drive上で解凍する方法を採用しているものがありましたが、適切ではありません。Driveのディレクトリがファイル一覧に表示されています。その下には「weather_train.csv」というファイルができています。これが今回解凍したファイルになります。図の右側の赤枠は、実行したコマンドと実行結果です。ファイルの読み込みは下記のようにpandasを使用して行います。これはJupyterでもおなじみですね。pd.read_csv('weather_train.csv')weather_train基本的な使い方はとりあえずこんな感じです。EC2につながらないときの対処法。errorでつながらないときの対処法を書いていきます。CodeDeploy)どうもこんばんは!つきたんです。今回はCodeStarやCodeDeployでしょっぱなの「ApplicationStop」で落ちたときの対処法を説明します。-Vもpython2.xになった件(Linux)どうもこんばんは!つきたんです。久々のブログになります(^o^)。思ったらエラー出まくり。Recognizer」で遊んでみました。Start...「デバッグしないでプルリク」はなぜいけないの?最近やらないエンジニアが多い!?単体テストの方法。コメントをキャンセルメールアドレスが公開されることはありません。*サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。stockus開発者。