#robots.txt for webserver
User-agent: *
Disallow: / # блокирует доступ ко всему сайту
Disallow: /?
Disallow: /cgi-bin/