Yahoo! SlurpもX-Robots-Tagをサポート [2007-12-08 11:30:52]

Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。

X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。

[参照] Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster's Control and Weather Update

利用できる設定値は、HTMLのmetaタグで利用するものと同じです。

1. X-Robots-Tag: NOINDEX
Yahoo!の検索結果にURLを表示させたくない場合

2. X-Robots-Tag: NOARCHIVE
検索結果ページにキャッシュへのリンクを表示させたくない場合

3. X-Robots-Tag: NOSNIPPET
検索結果ページにサマリ文を表示させたくない場合

4. X-Robots-Tag: NOFOLLOW
ページ内のリンクをクロールさせたくない場合

最も簡単に X-Robots-Tag を利用する方法は、.htaccessファイルに設定を記述することです。以下に記述例を示します。この例では、noindex.pptというPowerPointファイルについて、「X-Robots-Tag: NOINDEX」を返すように設定しています。

<Files noindex.ppt>
Header set X-Robots-Tag: "NOINDEX"
</Files>

この.htaccessとPowerPointファイルを http://blog.fkoji.com/noindex.ppt に置き、実際にHTTP Headerの内容を観察してみました。

画像(x-robots-tag.gif)

↑ このように、きちんとヘッダに「X-Robots-Tag: NOINDEX」が設定されていますね。

ちなみに「特定の拡張子のファイルすべてをクロールさせたくない」という場合には素直にrobots.txtを利用することをおすすめします。また、ヘッダ情報を見るにはロボットがファイルにアクセスする必要があるため、それ自体を禁止させたい場合もrobots.txtを使うようにと説明されています。

なお、Googleではすでに2007年7月からX-Robots-Tagをサポートしています。