クロールされたくない
特別サイトなんかを作っている際は、この部分の確認をしないと。
最初の時点で「仕様」の確認をしたほうが良いですね。
◎方法1
HTML HEAD内にrobot拒否のタグを入れる
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
◎方法2
robot.txt で設定。
すべてのrobotに対して拒否をする書き方はこんなかんじで。
User-agent: * Disallow: /
http://www.google.co.jp/support/webmasters/bin/answer.py?answer=40364