RSSフィードをYahoo!のインデックスから削除する方法 | F.Ko-Jiの「一秒後は未来」モバイル

RSSフィードをYahoo!のインデックスから削除する方法 [2009-01-02 18:57:36]

Yahoo!の検索結果にページではなくRSSフィードが表示される例がありました。

↑ Yahoo!で「ねこ娘の梅酒」を検索した結果

ここで表示されているのはカテゴリー別に配信しているRSSフィードです。フィードにアクセスされるのは好ましくないので、インデックスから削除することにします。

まずはrobots.txtでYahoo! Slurpが各フィードをクロールしないように設定します。Yahoo!サイトエクスプローラーからページを削除しても再度クロールされてしまうと意味がないためです。

User-agent: Slurp
Allow: /
Disallow: /*index.xml$

フィードのページ名はindex.xmlなので、robots.txtで上記のように記述しました。アスタリスクは任意の文字列、ドルは文字列の末尾を表します。ユーザーエージェント名は「Slurp」と指定するのが推奨されています。

ちなみにMy Yahoo!は「YahooFeedSeeker」、Yahoo!ブログ検索では「Y!J-BSC」というユーザーエージェント名が使われているので、それらには影響しません。

Yahoo!サイトエクスプローラーからインデックスの削除をリクエストします。

↑ インデックス状況にあるテキストボックスに削除したいURLを入力します。

↑ 選択して「検索結果で非表示」をクリックします。

↑ 確認画面が表示されるので、よければ「非表示」をクリックします。

これをフィードの数だけ繰り返します。ちょっとめんどいですが、これでYahoo!のインデックスから消えてくれるはずです。

Yahoo関連の書籍