Я расскажу вам свои наблюдения по поводу бана сайтов Яндексом. Но это относится только к нормальным сайтам, а не ко всяким говно-сайтам и сателлитам на копипасте.

У меня да и как у всех веб-мастеров были проблемы с некоторыми сайтами, которые попадали под АГС и даже в бан. Причем в бан попадали нормальные сайты, с нормальным контентом. И причины были на то самые разнообразные.

Возьмем первый сайт, решил сделать женский сайт. Шаблон взял паблик. Начали понемножку пополнять контент, разнообразные статьи. В итоге сайт попал в бан. Стандартная переписка с платоном ничего не дала. В связи с нерентабельностью решил проект прикрыть.

Второй проект был похожим на первый, только шаблон сайта я разработал сам. Писали статьи вместе с братаном, гуглу сайт понравился, трафик пошел. С яндексом тоже было нормалек, но в один прекрассный момент он попал в бан. Причем ссылки в сапе не продавались, контент чуть ли не копирайт. Сайт я решил не прикрывать, просто заморозить и контент больше не добавлять.

Каково же было мое удивление, когда спустя пол года без проведения каких либо работ над сайтом, сайт сам вышел из бана и начал индексироваться.

Мне стало интересно, посещает ли бот Яндекса вообще мои сайты. Как это узнать? Благодаря серверным логам хостера. Если у вас шаред-хостинг логи можно достать в папке /access-logs, это в корневой папке у меня на Домишко. Если у вас ВДС, то найти можно тут – в корневой папке созданного пользователя лежит папка var/…/logs. Серверный лог – это файл, содержащий список доступов к сайту, например, когда вы обновляете страницу сайта, то спецпрограмма записывает в этот файл строчку с данными (IP пользователя, бота, время доступа, URL запрашиваемой страницы и другие).

Естественно, что для каждого сайта свои логи. Я решил просмотреть серверные логи забаненных и других сайтов. Делается это при помощи лог-анализаторов, программ, позволяющих анализировать серверные логи. Я скачал себе semonitor, в его комплекте идет лог-анализатор, пробная версия работает 2 месяца.

Далее скачал серверные логи забаненного сайта и просмотрел его в анализаторе, каково было мое удивление когда я увидел что поисковики постоянно сканируют контент на моих сайтах, на всех сайтах. И Яндекс в том числе. Забаненный сайт или нет, бот яшки постоянно сканирует страницы сайта, вот только в индекс не берет. А robots.txt запрашивает еще чаще.

Отсюда выводы – не стоит забрасывать проекты (хорошие, а не ГС), стоит продолжать развивать их и наполнять контентом. Со временем сайты войдут в индекс заново и даже пойдет трафик. Как пример мой бывший сайт mampos.com – я продал его когда он был под фильтром, посещалка почти нулевая, а сегодня несмотря на то, что на сайте копипаст – посещаемость этого варезника 4 тысячи человек в сутки, в индексе Яндекса 15 тысяч страниц.

Кстати в логах можно просмотреть и наличие разнообразных ошибок, которые видят роботы, например ошибки 404, редиректы 301, 302. И создать такие условия, чтобы этих ошибок не было.