PCやクルマ等について適当に投稿していきます。Makeという書籍の電子版がGFDLに基づいてフリーで公開されているという情報を発見。wgetコマンドでファイルを一括ダウンロードしようとしたところ失敗しました。原因や解決方法などを備忘録として残しておこうと思います。この記事を読んだ人はこんな記事も読んでいます。公開されているPDFのURLは下のようになっています。https://www.oreilly.co.jp/library/4873112699/mae.pdfhttps://www.oreilly.co.jp/library/4873112699/maegaki.pdfhttps://www.oreilly.co.jp/library/4873112699/contents.pdfhttps://www.oreilly.co.jp/library/4873112699/ch01.pdfhttps://www.oreilly.co.jp/library/4873112699/ch02.pdf...https://www.oreilly.co.jp/library/4873112699/ato.pdf見ての通り、章毎に分割しPDFファイルとして公開されています。次のwgetコマンドを実行すると一括ダウンロードに失敗しました。https://www.oreilly.co.jp/library/4873112699/mae.pdf試しにファイル単体でのダウンロードを試みると、こっちは問題なくダウンロードできました。原因lsコマンドで一括ダウンロードしたファイルを確認してみます。robots.txt./www.oreilly.co.jp/library:4873112699./www.oreilly.co.jp/library/4873112699:index.html4873112699ディレクトリ下をダウンロードしたつもりが「robots.txt」というファイルがダウンロードされています。/libraryrobots.txtを確認してみると、/libraryディレクトリが「Disallow=禁止」と書かれており、どうやらこれが原因のようです。robots.txtについて今一度調べてみると、Googleのヘルプでは下記のように書かれています。ファイルはサイトのルートに配置するファイルで、検索エンジンのクローラにアクセスされたくないサイトのコンテンツを指定します。ファイル内の指示は、サイトにアクセスするクローラの動作に対し強制力はなく、サイトにアクセスするクローラへのディレクティブとして機能します。ファイルの指示に従いますが、他のクローラも従うとは限りません。そのため、ウェブクローラから情報を継続して保護するには、サーバー上の非公開ファイルをパスワードで保護する方法など、他のブロック方法を利用することをおすすめします。Exclusionによると、robots.txtの設定を無効にするにはwgetの-eオプションを利用すると良いようです。index.pdfwgetコマンドのeオプションにrobots=offを渡すとrobots.txtで禁止されているファイルも一括ダウンロードされました。1つ1つダウンロードするのは凄く手間で面倒なので、プログラムの自動処理は本当に便利ですね。第3版この記事を読んだ人はこんな記事も読んでいます。@SekisuiseienPCや車が好きな人。個人的な備忘録を投稿していきます。Game右耳からポコポコという変な音と違和感があったから耳鼻科に行ってきた。ThemeGrill.。