Googleはこっそりサイト情報を盗んでいる
Blocking Googlebot from content on your site
It's almost impossible to keep a web server secret by not publishing links to it. As soon as someone follows a link from your "secret" server to another web server, your "secret" URL may appear in the referrer tag and can be stored and published by the other web server in its referrer log. Similarly, the web has many outdated and broken links. Whenever someone publishes an incorrect link to your site or fails to update links to reflect changes in your server, Googlebot will try to download an incorrect link from your site.
普通の人には関係のない話と言えば、関係のない話だが、Googleはここまでやって、こっそりサイトのURL情報を盗み出している。要するに公開してもいない個人情報を勝手に盗んでいるわけ。つまり、Googleは個人情報窃盗の常習犯だということになる。サイトのコンテンツを Googlebot からブロックする
ウェブ サーバーへのリンクを公開しないようにして、そのウェブ サーバーの存在を隠すことはまず不可能です。誰かが「秘密」のサーバーからリンクをたどって別のウェブ サーバーにアクセスすると、「秘密」の URL がリファラー タグに追加され、他のウェブ サーバーのリファラー ログに保存、公開されます。同様に、ウェブ上には、古くなったリンクや無効になったリンクが多数存在します。サイトに対して間違ったリンクを公開したり、 リンクの更新に失敗してサーバーでの変更を反映できなかったりすると、Googlebot は間違ったリンクをサイトからダウンロードしようとします。
２０１４年１１月２９日５：１９