User-agent: Yandex
Host: www.antract.ru
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт