慌ててamazonのwebサービスドキュメントページをざっくり確認。https://webservices.amazon.com/paapi5/documentation/ver4とver5ではまったく違う。https://webservices.amazon.com/paapi5/documentation/migration-guide/whats-new-in-paapi5.html取得するデータが、今までずっと変わらずXMLだったのに、ver5からはJSONになる!!びっくりマークをつけてもつけたりないぐらい驚天動地だ。...てことは、現状使っている自作のスクリプトは全面的に書き換えが必要となる。SDKを使ってお手軽に、とか思って探してみたところ、ver5に用意されているSDKは、Java、Node.js、Python、PHPの4つ。なんでperlがないねんっ!!確かamazonはフロントのWEB側はperlだったはずだろう。今どきのWEBサービスには珍しくperlのサンプルもずっと用意してくれていたってのに、だ(残るはPaypalぐらいか)JavaもNode.jsもわからんちんだし、Pythonもこれからの主役はこれか、ぐらいの遠巻き。PHPがどうにか少しはいじれるので、サンプルをダウンロードして、perlに移植してみた。サンプルに入っているDefaultApi.phpでエンドポイントやオペレーション名を拾って、WithoutSDKのサンプルコードで署名込みのヘッダーを作れるようにした。PHPはどこからグローバルというか、スコープというのか知らんけど、把握するのにあっちこっち行かなきゃわからないから好きじゃなかったんだ、てのを再認識。これでそれっぽいリクエストを作れるようになったはずなんだけど。売上のないアカウントなので、試せない。売上のないアカウントには用はないamazonだ。作ったスクリプトを使って。いうステータスと、JSONでエラーメッセージが返ってくる。HTMLのエラーページが返ってくる。どちらも売上のないアカウントだから相手にされない、ということっぽい。一応、レスポンスのサンプルは公式ページにある。いうのって実際に何が返ってくるのか確認できなきゃ難しいんだよなあ。ことで、大慌てで昨日一日ごそごそやってみた感想というか所感というかなんちゅーかほんちゅーか。APIとかクロールとかで検索するとPython本が上位にずらーっと。インストールぐらいしていっちょかみしといたほうがええか...。最悪はamazonのデータを利用してサービスを公開していて安定稼働している他サイトからデータをいただくというクズなことをすれば、わたしのサービスが止まることもないんだけどね。(水)一昨日、新元号の発表があった4月1日に国立国会図書館の書誌データAPIが解禁となった。今までも検索などに使えていたけど、データベースとしてガツガツ使うには登録が必要だったり面倒くさかったのが、4月1日からは誰でも自由に使ってもかまわんぜ!になった。ことで、今さら国立国会図書館の書誌データAPIをごそごそ覗いてみた。国立国会図書館サーチについて>API仕様の概要https://iss.ndl.go.jp/information/api/riyou/わたしの、というかわたしが公開しているサイトの使い方は前にも書いた通り。「ISBNをキーにして書誌データと書影URLを取得したい」たとえば、スティーヴン・キングの『シャイニング』ISBNは978-4167705633これを国立国会図書館のAPIで探すには以下https://iss.ndl.go.jp/api/opensearch?isbn=978-4167705633→書誌情報のXMLが返ってくるhttps://iss.ndl.go.jp/api/openurl?isbn=978-4167705633→検索結果ページが返ってくるhttps://iss.ndl.go.jp/api/sru?operation=searchRetrieve&maximumRecords=10&query=isbn%3d9784167705633→書誌情報XMLが返ってくる(このsruはさらに細かく検索方法の指定もできる)うちの場合、必要な書誌情報はopensearchで十分。著者についてももろもろ考慮されて(同性同名や読みなど)おり、データのクオリティは信用できる。https://www.ndl.go.jp/jp/data/faq/author.html蔵書のある図書館の情報なども取得できるので、位置情報と合わせて「目当ての本がある最寄りの図書館」なんて検索も実装できるし、その手のアプリがすでにあるのは、国会図書館のデータが元ネタじゃないかな。書影がないのはほんと残念。本棚を眺める楽しみのひとつ、というか欠かせないのが表紙だもんなあ。基本的な書誌情報は国立国会図書館で、書影・表示画像はamazonなどのショップサイトのURLを別途取得...とか1冊の本のために2回も外部にリクエストしてるとサイトの表示がもたつく原因になってしまう。ことで、うちのサイトのデータ取得方法は現状のままとする。国会図書館のデータはまた何か別の用途で利用させてもらおう。したデータは見ていて気持ちいい(データオタク)ちなみに。日本出版インフラセンター」という版元主導のところも3月25日に書誌データベースのサイトをオープンしたけど、APIもなく、手入力でポチポチ検索できるだけ、なのでスルー。(火)ISBNをキーに本の情報(タイトル、著者、書影)を求めて三千里、だ。あらすじその1かれこれ15年以上、ずっと利用させてもらっていたAmazon(PA-API)の利用条件が変更となり、うちのように売上のほとんどないサイトだと利用するのが難しくなった。状態を見ていると、使えたり使えなかったり、というかほとんど使えないんだけど、時々使えることがある、といった感じ。その条件がよくわからない。あらすじその2PA-APIがそんな状態なもんだから、Amazonの商品ページをスクレイピングしてのデータ取得に変更。データが取れた、と思う間もなく(ほとんど7日以内)スクレイピングがAmazonにブロックされてしまった。データが取れなくなったんで、取得するHTMLを眺めたら、自動アクセスしているようだけどAPIがあるからそちらを使いなさい、というコメントが入っていた。そもそもアマゾンは規約でスクレイピングが禁止されてるので、やっちゃいかんのだ。ことでamazonについては、ほぼ利用できなくなった。(アフィリエイトタグ、リンクやアカウントには問題はない。データベースとしてAmazonが使えなくなったということ。念のため)何度も書いてるように4月になったら国立国会図書館がAPIを公開するので乗り換えを検討。どんなAPIなのかどんなデータが使えるのか、実際に公開されてから確認となる。いま公開していて、ユーザーさんが利用してくれているサイトもあり、いままさにどうするのかということで、繋ぎでいいのでなんとかしなければならない。AmazonのPA-APIが不定でたまにしか使えない(たまに使えるからかえって未練たらたらとなる)Amazonに対するスクレイピングは規約も不可。いうことで、その場しのぎのでっちあげ、というわたしの得意技。AmazonのAPIを使ってページを公開しているサイトをピックアップして、そちらをスクレイピングすることにした。アマゾン本家ではなくAPIを利用しているコバンザメからデータを持ってくる便所バエ作戦だ。本のデータを取得するためだけに、文字通り機械的にアクセスするわけだから、そのサイトにとっては何の利益にもならない、ただの無駄なアクセスとなる。amazonのようにインフラも強固巨大なサイトならともかく、規模的に小さなサイトだとちょっとした負荷も迷惑でしかない。幕なしリクエストを投げるようなことを避けるために自鯖内で期間限定のキャッシュすることにした。・キャッシュになければPA-APIを利用してデータ取得を試す・PA-APIでデータ取得できればそれを利用。取得したデータをキャッシュ・利用制限でデータ取得できなかったら他サイトをスクレイピング。・スクレイピングでデータ取得できればそれを利用。取得したデータをキャッシュてことにした。キャッシュするのは、ISBN・タイトル・著者の基本3点セット。データがあれば書影のURL。本のタイトルや著者をキャッシュすることは問題ないはずだけど、書影(画像)についてはたぶん権利関係がらみで面倒くさいことがあるだろう。画像をダウンロードして利用するなどもちろんアウト...というかただの犯罪行為。公開されている書影のURLについては問題ないと思うけど、書影を公開しているサイトと書影(画像)の権利者とでどのような約束があるのか不明で、おそらくずっと同じURLで公開しない。したらアクセスのたびにURLが変わることも考えられる。自鯖でのキャッシュを期間限定とした。今回のことでちょっと調べてみたら、スクレイピング行為がなにやらマーケティングだのなんだので使われていて、スクレイピングについてのスキルを持っているといろいろ重宝されて優位に立ち回れるとのこと。いやいや、ちょっと待てよ、だ。公開されているものとはいえ、他人の著作物から、自分の都合の良いデータだけ切り取ってもってくるのがスクレイピング。そのデータは権利者の意図とは違う使い方をされるのがほとんどだろう。カタカナ言葉でなんかごまかそうとしているけど、単なるタダ乗り行為。なんちゃら猛々しいんじゃねえのかとか、便所バエの自覚はないのかと昭和老害は思うわけですな。オライリーからこんな本まで出てるんだなぁ。