User-agent: *
Disallow: /cgi-bin # блокирует доступ к страницам 
                   #начинающимся с '/cgi-bin'
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды
Disallow: /www.roerich-museum.ru