#YAH!YAH!のNG_IDの整理を行った。これまでに登録した各IDの総出品数をAPIにより取得し、IDと組にして出力。消えているID、もう活動していないIDをリストから消去した。ngid_listed_sorted.txt自分用のNG_IDは、最初のYAH!を作って以来引き継いでおり、総登録数が4946件だった。内、IDが残っているのが4391、1点以上出品があるのが2839だった。NG_IDとの照合はrubyのHashを使っていて、数が増えても照合時間はさほど増えない。...が、もう消えているIDは確実に無駄だし、活動していないのも無駄だろう。64.124.85.0/24#Web再び、BecomeBotに検索履歴をかき回されたので、.htaccessにて排除することにした。BecomeBot締め出しhttp://baku.homeunix.net/WiKi/rnx/index.rb?1138996756.txtにてのけ者にしたはずなのだが、BecomeJPBotは別物というわけか。ちなみに、robots.txtは最初にちゃんと読んでる。http://www.become.co.jp/site_owners.htmlは「お客様が指定されたページは見つかりませんでした。」だったり、かなり感じ悪い。その辺の食い違いも感じ悪いぞ)また、他の多くのクローラの挙動と違ってリファラを送る点で、RandomeNoteの敵。公認spammerに埋め尽くされてるヤフオク#ヤフオク「ストア」は何点出品しようが(制限内なら)手数料がかからないから、元を取ろうとうじゃうじゃ出品していて激しく邪魔だ。different_2005jp以上で、計1043点。カテゴリの全出品の5割を占めている。#PC-98IDEのHDDをSCSIに変換するSDATを搭載のDSC-UE4.3G...の殻をヤフオク経由で入手した。手持ちの6.4GBのHDDを入れたら無事認識された。他のHDDに変えると認識しなかった。手持ちのHDDで試した結果は以下の通り。SV0844A×DK-238A-43×MK2103MAV情報を求めてWebを彷徨うとDSC-UE3.2Gを改造するhttp://www11.cds.ne.jp/~youkan/y2k700/DSC-UE32.htmlに、以下の記述があった。DEVICEを投げているとおぼしきところから追っていくと、怪しい部分が2つ見つかりました。なければエラーとしている。ビットも立ててね」と書いてあるような気がする。0x07を返すHDDだとまずいっぽい。・HDDから取得した総セクタ数をあらかじめ用意したテーブルのデータと順次比較し、「総セクタ数以下で一番近い容量のエントリ」を選択している。このとき実際の総セクタ数と決めうちで持っているセクタ数の差が0x100000(≒537MB)以上あるとエラーになる。0〜0.5G)しかサポートしていないのであった。これが20Gでも4Gでもダメだった原因っぽい。8.4Gのも4.3Gのも2.1Gのもダメだったのは、最初の条件に当てはまったっぽい。2000年7月号の「ATA(IDE)/ATAPIの徹底活用研究」を見てみたところ、ビット0,1,2が「マルチワードDMAモード0をサポートする」「(ryモード1又はそれ以下をサポートする」「(ryモード2または(ry」だそうだ。Yahoo!オークションWebサービスで検索ができるようになったこれまではそれができないのがかなり痛かったのだが、これで通常のブラウザでのアクセスとほぼ同等の情報が得られるようになったな。カテゴリ情報のデータが時々変ヘッダは200OKを返してくるのに、中身が"1\r\n"だけだったり、<childCategory>内の<categoryName>だけが抜けてたりする。ヤフオク用Proxomitronフィルタウォッチリスト(等)の、邪魔なだけな「商品ID」やほとんど役に立たない「最高額入札者」の項を消去。ヤフオクのウォッチリスト用フィルタウォッチリストから商品IDが消えたと思ったら、まったくもって邪魔な「ポイント」とやらが出現。うりうりとProxomitron用フィルタを作成した。改変すると言うよりは、必要な情報を抽出して再構築するフィルタ。商品名のみhttp://openwatchlist2.auctions.yahoo.co.jp/jp/show/mystatus?select=watchlist&s1=end&watchclosed=0&myaucpic=false商品名と画像http://openwatchlist2.auctions.yahoo.co.jp/jp/show/mystatus?select=watchlist&s1=end&watchclosed=0&myaucpic=true等に対して機能。明示的に"myaucpic=true"とか書いてないと、どちらかを判別できないので適用されない。Yahoo!オークションWebサービスとRSSとを併用これまでは、役に立たないと思っていたヤフオクのRSSは結構使えるかもしれん。Yahoo!オークションWebサービスのAPIでは検索できないけど、RSSの方なら検索結果が得られるのはありがたい。YAH!X試験中Yahoo!オークションWebサービスにより提供されるXMLデータを使うYahoo!AuctionHelperを作成中。↓とりあえずの実験バージョンhttp://baku.homeunix.net/program/yahX/yahX_test01.rb?category=2084045752&pic=truecategoryを書き換えれば他のカテゴリを見れる。pic=trueで画像表示。YAH!の特徴である各種NG機能は、とりあえず「NGキャラクタ」のみ実装。「次の25件」をいちいちクリックしなくてもいいので、現状でもとりあえずそこそこ役立つと思う。Ver.3としようかと思っていたけど、Yahoo!オークションWebサービスでは今のところキーワード検索ができないっぽいなどの理由で、Ver.Xとして別物としての扱い。REXMLを使ってヤフオクのXMLデータを読む楽だ...。機械で読みやすいデータが提供されてるというのはこんなにもありがたい物だったとは。便利なREXMLに感謝。