О сайте | Обратная связь | Памятка для вебмастера
[ Регистрация · Войти · Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 1 из 3123»
Форум » Создание сайта » Wordpress » Сайт блокируется robots.txt в Google (Для робота Google установлен запрет на http://sezonotpuska.c)
Сайт блокируется robots.txt в Google
Zap Дата: Пятница, 04.10.2013, 16:34 | Сообщение # 1
Первоклашка
Группа: Пользователи
Сообщений: 17
Город: Киев
Репутация: 0
Статус: Offline
Помогите пожалуйста. Ничего понять не могу. В инструменты для веб-мастеров Google пишет "Для робота Google установлен запрет на http://sezonotpuska.com.ua/"
типа неправильный robots.txt и показывает содержание;
User-agent: *
Disallow: /
Sitemap: http://sezonotpuska.com.ua/sitemap.xml.gz
Sitemap: http://sezonotpuska.com.ua/sitemap.xml.gz

А на самом деле содержание следующее:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

Host: sezonotpuska.com.ua

Sitemap: http://sezonotpuska.com.ua/sitemap.xml.gz
Sitemap: http://sezonotpuska.com.ua/sitemap.xml

Вроде все правильно, Яндекс подтвердил что ошибок нет, А гугл упорно нехочет видеть мой robots.txt и закрывает индексацию
Думал у меня их два, но второй не нашел.
Что может быть? До этого стоял запрет на индексацию через WP /параметры/ чтение/Попросить поисковые системы не индексировать сайт

Уже три дня бьюсь, может robots.txt подтягивается из кеша Google, надо только подождать. Хотя не уверен? и как проверить что причина в этом?
otlichnica Дата: Пятница, 04.10.2013, 17:31 | Сообщение # 2
Профессор(ша)
Награды: 81
Группа: Администраторы
Сообщений: 9888
Город: Астрахань
Репутация: 287
Статус: Offline
Zap, попробуй посмотри файл .htaccess , возможно вирус какой загнали и для гугля страничка подменяется.

Делаю сайты под ключ на заказ. Меняю шапки и цветовую гамму на Вашем сайте Портфолио и расценки

В выходные я не работаю!!!
otlichnica Дата: Пятница, 04.10.2013, 17:36 | Сообщение # 3
Профессор(ша)
Награды: 81
Группа: Администраторы
Сообщений: 9888
Город: Астрахань
Репутация: 287
Статус: Offline
Если ты в Гугл смотришь страничку Заблокированные URL, то там "Содержание http://твой сайт/robots.txt: отредактируйте для проверки изменений" - выходит то, что ты копировал в это поле. Вставь свой настоящий robots.txt просто ручками и проверь.

Делаю сайты под ключ на заказ. Меняю шапки и цветовую гамму на Вашем сайте Портфолио и расценки

В выходные я не работаю!!!


Zap Дата: Пятница, 04.10.2013, 17:37 | Сообщение # 4
Первоклашка
Группа: Пользователи
Сообщений: 17
Город: Киев
Репутация: 0
Статус: Offline
Уже думал .htaccess, в чистом виде. Google вредоносного ПО невидит,

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

может вы че увидите
Гром Дата: Пятница, 04.10.2013, 17:40 | Сообщение # 5
Профессор(ша)
Награды: 11
Сообщений: 3350
Город: Астрахань
Репутация: 96
Статус: Offline
По идее, вот эта запись

Disallow: /*?*

должна блокировать доступ ко всем страница сайта

это аналогично записи

Disallow: /


Профессиональный подход к созданию сайтов под ключ.
Все услуги в одном месте.
Домен второго уровня и хостинг на год в подарок!
Zap Дата: Пятница, 04.10.2013, 17:51 | Сообщение # 6
Первоклашка
Группа: Пользователи
Сообщений: 17
Город: Киев
Репутация: 0
Статус: Offline
Вставляю на проверку в Гугле новый robots.txt , и все норм пишет "разрешено"
Проблема в том, что гугл видит robots.txt в котором все запрещено, а его несуществует.
А новый написан правильно как показывает проверка и Гугла и Яндекса. Но видит новый только Яндекс, а Гугл все еще старый.
Гром Дата: Пятница, 04.10.2013, 17:53 | Сообщение # 7
Профессор(ша)
Награды: 11
Сообщений: 3350
Город: Астрахань
Репутация: 96
Статус: Offline
Вот правильный вариант

Цитата
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/
Crawl-delay: 3
Host: sezonotpuska.com.ua

Sitemap: http://sezonotpuska.com.ua/sitemap.xml
Sitemap: http://sezonotpuska.com.ua/sitemap.xml.gz


Профессиональный подход к созданию сайтов под ключ.
Все услуги в одном месте.
Домен второго уровня и хостинг на год в подарок!
Zap Дата: Пятница, 04.10.2013, 17:58 | Сообщение # 8
Первоклашка
Группа: Пользователи
Сообщений: 17
Город: Киев
Репутация: 0
Статус: Offline
Удалял Disallow: /*?*, ничего не меняется, удалил весь robots.txt. Все равно стоит запрет. И гугл видит запрещающий robots.txt.

Гром Дата: Пятница, 04.10.2013, 17:59 | Сообщение # 9
Профессор(ша)
Награды: 11
Сообщений: 3350
Город: Астрахань
Репутация: 96
Статус: Offline
По ссылке http://sezonotpuska.com.ua/robots.txt у вас до сих пор стоит старый

Профессиональный подход к созданию сайтов под ключ.
Все услуги в одном месте.
Домен второго уровня и хостинг на год в подарок!
Zap Дата: Пятница, 04.10.2013, 18:04 | Сообщение # 10
Первоклашка
Группа: Пользователи
Сообщений: 17
Город: Киев
Репутация: 0
Статус: Offline
Поставил ваш робот, результат тот же;
Для робота Google установлен запрет на http://sezonotpuska.com.ua/

Добавлено (04.10.2013, 18:04)
---------------------------------------------
Получается стоит старый, но я его меняю на новый, и яндекс видит новый. а гугл старый. И даже если совсем удалить, все равно откуда то берется старый

Форум » Создание сайта » Wordpress » Сайт блокируется robots.txt в Google (Для робота Google установлен запрет на http://sezonotpuska.c)
Страница 1 из 3123»
Поиск:
Сайт блокируется robots.txt в Google - Создание сайта - Wordpress - Форум
Сегодня были на форуме:
otlichnica, 1702_dimas_24, lexuss18, trolina45, Janka

Конструктор кнопок он-лайн


Получить код CSS

Подбор цветов

Справочник по html и CSS

Наши копирайтеры

Поиск