installを実行すると、package-locl.jsonが更新されることがある。そのため、パッケージのバージョンが知らない間に変わっていて画面が崩れるという不具合が起きてしまった。Azureには予測結果を説明する機能がある。テーブルデータを説明する場合はSHAPを使うのが一般的っぽい。SHAPの実行結果をどうグラフに表示するかは参考になりそ...機械学習モデルの予測結果を説明する方法2017-05-15hackingでpythonのLintをすると誤ってwarningになる箇所があるAI2つのエラーが誤って検出された。は古いバージョンのpycodestyleに不具合があり、誤って検出されるっぽい。flake8/hackingは内部的にpycodestyleを使っている。clientには3つのタイムアウト時間を設定出来る。IT3つのタイムアウトは以下。clientには3つのタイムアウト時間を設定出来る。2017-05-13サーバからHTTPSリクエストを送ったら15分後にタイムアウトするIT15分という数字を設定した覚えがなかったので謎だったけど、Linuxのデフォルト設定だと15分ぐらいでTimeoutになるっぽい。Backoffを15回繰り返すと合計926秒になる。Linuxのデフォルト設定では15回リトライするので9...サーバからHTTPSリクエストを送ったら15分後にタイムアウトする2017-05-12Redisでは有効期限が切れたデータもしばらく削除されないITRedisは以下のルールで有効期限が切れたデータを削除しているらしい。有効期限が切れたデータにアクセスするリクエストがきたら、そのタイミングで削除する。10秒おきに20エントリをランダムの調べて、有効期限が切れていたら削除する。定期的にwatchできる。他にも色々オプションがあるけど基本使うのは-lだなぁ。qiita.comGPU使用率をwatchする2017-05-10tensorflowでの学習がhangするAIこの現象はGPUが複数ある環境でのみ発生する。学習が終わるタイミングで処理が止まってしまい、プロセスも終了することなく残る。原因はtensorflowのバグっぽい。Issueでも似た現象が報告されているが、解決していない。(ちょっと違う現象なので別原因か...tensorflowでの学習がhangする2017-05-09boto3でS3のget_bucket_locationがNoneを返すIT原因はus-east-1リージョンはロケーションの制約がないため。以下資料の「ロケーションの制約」を返すっぽい。ap-northeast-...boto3でS3のget_bucket_locationがNoneを返す2017-05-08EBSのサイズを変更するITまずAWSコンソールからEBSの容量を変更する。次に、EC2にsshでログインして以下のコマンドを実行する。name」エラーIT原因はimportが循環参照になっていること。A.pyからB.pyをimportし、逆にB.pyからA.pyもimportしていると発生する。importにすると解消する。ほんとは循環参照をやめた方が良いんだろうな。細かいけどちょっと嬉しい。stackoverflow.compythonでファイルを読み込むコードを簡単にする2017-05-04python標準のファイル操作APIでなく、tf.gfileを使うメリットITtf.gfileは普通のファイルシステムの他にHDFS等に対応しているのがメリット。ファイルシステムだけしか使わないならメリットはない。stackoverflow.compython標準のファイル操作APIでなく、tf.gfileを使うメリット2017-05-03yamlを出力したときにインデントが足りないところがあるITdictに配列をネストさせたオブジェクトをyamlに出力すると以下のようになる。するためには、以下のようにする。flow=Fal...yamlを出力したときにインデントが足りないところがある2017-05-02OrderedDictをyamlに出力するITyaml.dump(ordered_dict)を実行するだけだと、Pythonのクラス名も出力されてしまうので以下のようにすると通常のyaml形式で出力される。instance.items(...OrderedDictをyamlに出力する2017-05-01YAMLとJSONの使い分け方ITYAMLはJSONより可読性が高く、コメントも書けるので設定ファイルはYAMLの方が適している。JSONはデータフォーマットとしてより一般的なので、システム間でテキストで構造化データを受け渡す場合に使う。JSONはコメントが書けないのがツライ。AWSError」が出るAIS3からデータを読み込む時に以下のログが出る。AWSError」が出る2017-04-29boto3でbucketのregionを取得するIT以下でできた。codegenで生成したコードにsetterがあるITsetterは生成しないのがあるべきと思ったが、生成される。Issueはあるけど2ヶ月以上放置されているので今後も直る可能性は低そう。上記のようにyamlを定義してPyYamlで読み込むと。'1e-09'という文字列になってしまう。以下のように修正した。いいやり方ないのかねぇ。コマンドで設定したシークレットアクセスキーなどの情報が間違っていたため。configureは不要だった。.awsフォルダを削除したら直った。signer.」エラーが出るITtensorflowのtf.data.TFRecordDatasetにS3に置いたTFRecordのパスを渡すと読み込んでくれるという機能がある。77はSSL証明書のエラーらしい。signer.」エラーが出る2017-04-24EC2からS3のデータをダウンロードする場合、AWS外のネットワークを経由する場合があるIT今までEC2-S3間の通信はAWS内のみ通ると思っていたけど、VPCエンドポイントがない場合、一度インターネットに出るらしい。VPCエンドポイントは必ず作るようにしておかねば。ht...EC2からS3のデータをダウンロードする場合、AWS外のネットワークを経由する場合がある2017-04-23Pycharmでplt.show()を実行しても図が表示されないAI前はIDE上で図が見えたんだけど、なぜか何も表示されなくなった。matplotlibをimportする前に実行すると表示されるようになった。別窓で表示されるのでちょっと不便。teratail.comPycharmでplt.show()を実行しても図が表示されない2017-04-22Pythonのre.matchは先頭一致AI他の言語では部分一致になることが多いと思うが。部分一致にしたい場合はre.searchを使う。note.nkmk.mePythonのre.matchは先頭一致2017-04-21boto3のlist_objects_v2は最大1000オブジェクトまでしか取得出来ないAI1001以上取得したい場合はループを回す必要がある。not...boto3のlist_objects_v2は最大1000オブジェクトまでしか取得出来ない2017-04-20pythonでメソッドの実引数に**を付けるとdictを展開してくれるAIこれ知らなかった。コードを見た方がわかりやすいと思う。CLIを使ってS3からファイルをダウンロードすると途中から速度が落ちるIT現象は以下。ように速度が変化する。CLIを使ってS3からファイルをダウンロードすると途中から速度が落ちる2017-04-18特定のVPCからの通信のみ権限を与えるポリシーIT以下のようにVPCエンドポイント指定で権限を付けられる。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。