Добрый день!
Ошибка в robots.txt в поле User-agent
https://yadi.sk/i/h63heoacimYnU
Можете убрать ошибку? чтоб исправить, необходимо удалить 2 пункта которые отметил на скриншоте. т.к. они дублируются.
В роботсе уже есть пункт «User-Agent:*» Выставить Crawl-Delay можно там.
Если не совсем понятно что написал, то ниже привожу пример файла robots.txt с правильными атрибутами. Можно его просто скопировать как шаблон:
# This rule means it applies to all user-agents
User-agent: WBSearchBot
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
# Disallow: /wp-includes/
Disallow: /wp-includes/ms-files.php*
Disallow: /index-install.php
Disallow: /wp-activate.php
Disallow: /wp-app.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-pass.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /bb-config.php
Disallow: /counter/
Disallow: /images/
Disallow: /captcha-token.php
Disallow: /ortox-map.php
Disallow: /ortox-ajax.php
Disallow: /ortox-feed.php
Disallow: /oldie.html
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /api/
Crawl-delay: 30