#YAH!YAH!のNG_IDの整理を行った。これまでに登録した各IDの総出品数をAPIにより取得し、IDと組にして出力。消えているID、もう活動していないIDをリストから消去した。ngid_listed_sorted.txt自分用のNG_IDは、最初のYAH!を作って以来引き継いでおり、総登録数が4946件だった。内、IDが残っているのが4391、1点以上出品があるのが2839だった。NG_IDとの照合はrubyのHashを使っていて、数が増えても照合時間はさほど増えない。...が、もう消えているIDは確実に無駄だし、活動していないのも無駄だろう。64.124.85.0/24#Web再び、BecomeBotに検索履歴をかき回されたので、.htaccessにて排除することにした。BecomeBot締め出しhttp://baku.homeunix.net/WiKi/rnx/index.rb?1138996756.txtにてのけ者にしたはずなのだが、BecomeJPBotは別物というわけか。ちなみに、robots.txtは最初にちゃんと読んでる。http://www.become.co.jp/site_owners.htmlは「お客様が指定されたページは見つかりませんでした。」だったり、かなり感じ悪い。その辺の食い違いも感じ悪いぞ)また、他の多くのクローラの挙動と違ってリファラを送る点で、RandomeNoteの敵。Yahoo!オークションWebサービスで検索ができるようになったこれまではそれができないのがかなり痛かったのだが、これで通常のブラウザでのアクセスとほぼ同等の情報が得られるようになったな。カテゴリ情報のデータが時々変ヘッダは200OKを返してくるのに、中身が"1\r\n"だけだったり、<childCategory>内の<categoryName>だけが抜けてたりする。Yahoo!オークションWebサービスとRSSとを併用これまでは、役に立たないと思っていたヤフオクのRSSは結構使えるかもしれん。Yahoo!オークションWebサービスのAPIでは検索できないけど、RSSの方なら検索結果が得られるのはありがたい。YAH!X試験中Yahoo!オークションWebサービスにより提供されるXMLデータを使うYahoo!AuctionHelperを作成中。↓とりあえずの実験バージョンhttp://baku.homeunix.net/program/yahX/yahX_test01.rb?category=2084045752&pic=truecategoryを書き換えれば他のカテゴリを見れる。pic=trueで画像表示。YAH!の特徴である各種NG機能は、とりあえず「NGキャラクタ」のみ実装。「次の25件」をいちいちクリックしなくてもいいので、現状でもとりあえずそこそこ役立つと思う。Ver.3としようかと思っていたけど、Yahoo!オークションWebサービスでは今のところキーワード検索ができないっぽいなどの理由で、Ver.Xとして別物としての扱い。REXMLを使ってヤフオクのXMLデータを読む楽だ...。機械で読みやすいデータが提供されてるというのはこんなにもありがたい物だったとは。便利なREXMLに感謝。