Антипарсер Talos PRO - программа защиты от несанкционированной нагрузки на сайт и защиты любого сайта от парсинга. Сайтов Битрикс, OpenCart, WordPress, Joomla, Magenta, PrestaShop защита от парсинга, защита от ботов
Антипарсер Talos PRO - это простой и легкий способ управления активностью на сайте.
Антипарсер защищает:
- Всех маркетинговых ботов (используемых конкурентами для расчета своих цен, остатков, ключевиков и др. задач)
- От всех быстрых ПК парсеров, он-лайн парсеров - то есть фактически от основного объема тех несакционированных активностей, которые и создают проблемы в нагрузке и в конкуренции
- От продвинутых парсеров, требуя от них долгого поиска и подобора решения, которое также должно меняться во времени и в конечном счете высокой стоимости таких работ
Некоторые принципы защиты:
- Отсутствие закономерности в том, что получает бот. Как только бот обнаружен, вместо бана он получает или фейковый контент, или контент, перемешанный фейковым контентом и реальным, в установленном Вами соотношении. Или также дополнительно перемешанный кода состояния HTTP. В результате ответ становится случайным, и подобрать скрипт при отсутствии закономерности, крайне дорого и долго.
- Капча, с установленным числом попыток
- Анализ активности не только в коротких интервалах, но и в интервалах: час, полдня, день, неделя
- Возможна полная защита от доступа (подходит поставщикам), но при этом контент могут видеть и боты поисков и использоваться для изучения клиентами
Тестировался всеми популярными парсерами. Попробуйте и Вы отпарсить сайт: https://antiparser-talos-pro.extecom.com/
FAQ
Индекс поисковиков
Никак не влияет на индекс. Поисковые боты не меняются уже минимум 10 лет. Любое изменение со стороны поисковиков в части IP адресов ботов чревато для самих поисковиков потерей клиентов. Это не просто слова. Дело в том, что под данных об IP их ботов настроены сотни тысяч (если не миллионы) robots.txt, htaccess и множество других систем. Тем не менее, если поисковая система, вдруг, введет новый IP (а это случиться, если что-то очень серьезное случится:)), то такой новый IP достаточно добавить в лист исключений
Администрирование
Программа не является модулем по устройству и находится полностью на стороне сайта. Имеет свою отдельную админку и может применяться на любой CMS с поддержкой php. Постоянного администрирования не требуется. Антипарсер работает автоматически. Есть режимы жесткой и мягкой работы. Жесткий контроль может применяться, если Ваш сайт используется для работы с заранее известными партнерами. Мягкий режим для ситуаций, когда нужно временно скидывать ботов, парсеры, которые нарушают параметры активности
Изменения в CMS
Антипарсер не меняет ничего в OpenCart. Ни портит дизайн, ни php-код – ничего не меняет, ничего никогда не вставляет. Не используется база данных. Программа интегрирована в одной точке, делает проверку перед пуском основного фреймворка и в зависимости от того нарушитель или нет, пропускает запрос пользователя дальше, или работает с ним, как с нарушителем
Случайный бан клиентов
- для поставщиков товаров, когда нужно контролировать нагрузку и отдавать контент только реальным клиентам, в т.ч. и контролируя качество работы их парсера, случайного бана быть не может в принципе. Может быть только заслуженный
- для розничных магазинов, бан происходит только, если пользователь в конкретный период времени проявил нечеловеческую активность и при условии, что включен такой режим. Тем не менее, если нужно исключить случайные баны, например, ip-адрес в будущем окажется у другого пользователя, то рекомендуется использовать режим работы с временным баном и/или возврат из черного списка по проходу капчи (например, такой подход использует Google для ip адресов мобильных операторов связи и провайдеров с динамическими ip). В этом случае, любой человек результат получит, а вот бот, если IP всё еще у бота, так и останется в списке временного или постоянного бана
Подходы
Используются самые популярные подходы, но анализ идет не только в разрезе поведения в супер-короткие интервалы, но и по поведению пользователя вплоть до недели. Такой подход позволяет скидывать не только быстрые парсеры и ботов, но медленные парсеры, ботов, которые пытаются имитировать поведение людей
Время обработки
Время обработки по исключениям (для поисковых сетей и ip, которые могут быть добавлены в исключения) составляет от тысячных до сотых долей секунды (при списке исключений с тысячами записями). На скорость загрузки страницы не влияет
Гарантии
Ни одна программа (даже очень дорогая) не может дать гарантию 100% защиты. Если Ваш ресурс невероятно популярен и разработчики готовы потратить недели, а конкуренты многие десятки и сотни тысяч на работу разработчиков, то сбор хоть каких-то данных организовать можно. Но данные будут собираться медленно (то есть нагрузки всё равно не будет), и откровенно говоря, обычно, так никто не делает. По этому можно точно утверждать, что антипарсер защитит:
- От быстрых парсеров – это подавляющее число тех, кто оказывает услуги по мониторингу чего-либо
- От ботов-мониторов цен и остатков где важен минимальный временной период между частями данных
- От ботом, которые с непонятно целью создают регулярную нагрузку
- От умных парсеров также, потому что, как уже было сказало, даже, умный парсер нужно сделать, подбирая какие-то варианты, анализируя ответы и позже правя руками полученные данные от "мусора", который всё равно будет отдавать парсер в купе с остальным. Обычно от парсинга сайтов, где есть ручная работа отказываются ввиду опасности сломать себе данные и необходимости регулярной ручной проверки
Основные функции
- Защита от парсинга и защита от ботов на основе мониторинга разрешенной активности, черных список, временных банов и капчи
- Функция обмана парсера – подсовывание парсеру статических, заранее закешированных страниц, вместо актуальных данных, что делает не только бессмысленной парсинг Вашего сайта но и опасным с точки зрения качества данных, которые собирает сервис-бот
- Доступ к сайту по определенным IP (подходит для защиты входа в админку, входа клиентов поставщика)
- Установка разрешенных IP для парсинга (подходит для поставщиков, которым требуется установить IP-адреса клиентов, которым разрешен парсинг)
- Логирование всех процессов
- Автоматизация бана: автоматический временный бан
- Автоматизация бана: автоматическое пополнение черного и/или серого списка
- Выбрасывание капчи с заданным числом попыток перед баном
- Отчеты на почту
- Не требует постоянного редактирования - работает автоматически
- Уже загружены исключения для поисковых систем, список исключение легко пополняется
- Возможны исключения по языку или по содержанию заголовка AGENT у входящего сервера (например, для защита доступа к Вашему товарному API или при смысле с Вашими программами (1С и т.п.)
- Время обработки одного запроса от десятых до несколько миллисекунд (тысячных долей секунды - время указывается в логе)
- Ничего не меняет ни на хостинге, ни на сайте, ни в базе данных. Полностью свой код, который работает на стороне сайта
Видео защиты от парсинга популярного парсера DATACOL и типового он-лайн сервиса
Демонстрации
Пример защиты от ботов и парсинга сайта Opencart
Живая демонстрация защиты от ботов и парсинга сайта Opencart
Логин и пароль: demo
Пример защиты от ботов и парсинга сайта Prestahop
Живая демонстрация защиты от ботов и парсинга сайта Prestahop
Логин и пароль: demo
Совместимость и требования
- Работает на любых сайтах: защита от парсинга Joomla, WordPress, OpenCart, Bitrix
- php 5.4-7.2
- База данных не требуется
- IONCUBE
- Работает полностью на стороне хостинга, где установлен, не использует и не меняет код CMS или серверных приложений
- Совместим с OpenCart (всеми версиями), Magento (всеми версиями), Prestashop (всеми версиями), Joomla (всеми версиями), Wordpress (всеми версиями) и др. CMS, где возможно включение в основной исполняющий файл(ы) логики антипарсера без включением основной логики CMS
Лицензия
- Стоимость указана за один домен без ограничений по времени. На второй скидка 25%
- Возможна пробная версия одна неделя бесплатно
Установка
Установка в течении нескольких минут, возможна установка нашими специалистами в рамках данной стоимость
