自分のサイトを検索エンジン（google、Yahoo）からコンテンツを削除する方法
サイトを削除して検索エンジンの検索結果から表示されない様にしたいとき、検索ロボットの次回クロール時にインデックスから削除されますが、googleにはすぐに消す方法が用意されています。
1.こちらのツールを使い、【新しい削除リクエスト】ボタンを押すと3つの選択肢がでてきます。
2.サイトを削除した場合は二つめの【・Google の検索結果において 404 ページが見つかりません〜】になりますのでこちらを選択します。
3.削除したいURLを打ち込んで【リクエストを送信】すれば削除リクエストとしてインデックスから削除されます。
●Yahoo!
Yahoo!はこの様なツールは用意されていないため、検索ロボットの次回クロール時に消されることになります。
●インデックスにコンテンツが登録されないようにする方法（google,Yahoo共通）
【メタ タグを使用してページをブロック】
・サイトのページをすべてのロボットのクロール対象から除外するには、次のメタ タグをページの <HEAD> セクションに挿入します。
<meta name=”ROBOTS” content=”NOINDEX, NOFOLLOW” />
【 robots.txt ファイルを使用してウェブサイト全体をブロック】
robots.txtで登録を拒否する場合は、「robots.txt」という名前でテキストファイルを用意し、下記の内容を記述します。ファイルは、サイトのあるウェブサーバーのトップレベルに置いてください。
ファイルの中身
User-agent: *
Disallow: /
●こんなことを試してみました
Yahoo!の検索エンジン用ロボットの巡回先への推薦を使えばYahoo!も早くクロールしてくれるんじゃないのかな思いやってみましたが、アクセスできないということであっさり拒否されてしまいました。
