вторник, 27 октября 2015 г.

Что такое «semalt.com» и как его заблокировать?

В последнее время многие веб-мастера, просматривая статистику, стали замечать посещения с semalt.com. Я тоже недавно обнаружил этого "гостя" на одном из своих сайтов.

Что такое «semalt.com» и стоит ли с ним бороться?

Так что же это такое? Сервис «semalt.com» — ничто иное, как SEO-анализатор сайтов, причём его услуги платные. Боты «semalt.com» посещают ваш сайт и собирают статистику для анализа.
Опасен ли «semalt.com»? – Нет, не опасен! Вопреки распространённому в сети мнению, сервис «semalt.com» не представляет опасности для вашего сайта; однако и пользы от него тоже никакой нет — он только грузит ваш сайт, "ест" трафик и сбивает статистику. Поэтому «semalt.com» лучше заблокировать.

Как заблокировать «semalt.com» и запретить ему доступ к вашим сайтам?

Как уже было написано выше, для сервиса «semalt.com» желательно заблокировать доступ к вашему сайту. Ниже представлены способы блокировки «semalt.com».

Способ блокировки «semalt.com» при помощи .htaccess

Чтобы заблокировать «semalt.com» доступ к вашему сайту, в файл .htaccess пропишите следующие правила:
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]


RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?semalt.semalt.com.*$[NC]
RewriteRule .* http://semalt.com [L]


RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?crawler.semalt.com.*$ [NC]
RewriteRule .* http://semalt.com [L]


С помощью этих правил вы заблокируете ботов «semalt.com», «semalt.semalt.com», «crawler.semalt.com».
Также в файл .htaccess можно прописать и такой код:

SetEnvIfNoCase Via evil-spam-proxy spammer=yes
SetEnvIfNoCase Referer evil-spam-domain.com spammer=yes
SetEnvIfNoCase Referer evil-spam-keyword spammer=yes
SetEnvIfNoCase Via pinappleproxy spammer=yes
SetEnvIfNoCase Referer semalt.com spammer=yes
SetEnvIfNoCase Referer poker spammer=yes

Order allow,deny
Allow from all
Deny from env=spammer

Исключить свой сайт из списка посещаемых сервисом «semalt.com» сайтов

Сервис «semalt.com» предоставляет возможность вебмастерам удалить свои сайты из его базы. Сделать это можно по адресу: http://semalt.com/project_crawler.php.
Аналогичная ситуация может возникнуть с сервисом «tnwbill.com». Инструкции по борьбе с ним такие же, как и с «semalt.com».