yahooseeker-jp-mobile
二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。
で、それが何だという話ですが、お行儀が悪いというお話です。/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。アドホックな対処はあまりしたくないですけど、仕方がないのでとりあえずホスト単位で弾いてます。今のところ、ホストアドレスが隣合って連続している 2 つのホストでこのクローラが動いているようです。まだ始まって間もないと思うので、ゆくゆくは改善されるはず、と期待して様子見ですね。
6 月 12 日の夜から UA 文字列を KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser /6.0.8.2 (GUI) MMP/1.1; yahooseeker-jp-mobile AT Yahoo!JAPAN ) に変更したようです。前述のホスト名は dev0{1,2}.bsearch.bbt.yahoo.co.jp の 2 つで、これは今のところ IP アドレスも連続しています。dev01 といったホスト名から実験的な雰囲気がします。
6 月 13 日でピタリと止まりました。
- タグ
- mobile
- User Agent
- Yahoo!
- 公開日時
- 2006-06-11T22:58:18+09:00 @623
- 更新日時
- 2006-06-16T23:00:00+09:00 @625
- Permalink URI & TrackBack URL
- http://blog.drry.jp/2006/06/11/yahooseeker-jp-mobile
コメント