На стадии разработки и/или редизайна проекта бывают ситуации, когда лучше не допускать поисковых роботов на сайт или его копию. В этом случае рекомендуется закрыть сайт от индексации поисковых систем. Сделать это можно следующим образом: Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt и прописать в нём следующие строки: User-agent: YandexDisallow: / Такие строки закроют сайт от поискового робота Яндекса. User-agent: *Disallow: / А таким образом можно закрыть сайт от…