CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? -

Рассказываю про сервис CloudFlare, используемый для защиты сайтов от ботов, накрутки поведенческих факторов, спама, DDOS-атак. И какие настройки повлияли на SEO - ранжирование в поисковых системах Яндекс и Google. Тайм-коды, оглавление видео в YouTube: 0:00 Введение. Что такое ? 0:36 Регистрируемся в 0:53 Проверяем свой сайт на блокировку Роскомнадзором 1:19 Добавляем сайт в CloudFlare 1:36 Выбираем бесплатный тарифный план в CloudFlare 1:43 DNS-записи домена и их сверка с записями на хостинге 3:03 Прописываем NS-записи CloudFlare вместо NS-записей хостинга в регистраторе доменных имен, ждем обновления до 48 часов 4:07 Включаем DNSSEC 4:46 Настраиваем SSL/TLS - настраиваем безопасное подключение и сертификаты 6:10 Настраиваем WAF (Web Application Firewall) - 5 правил безопасности брандмауэра, которые отсекают около 90% ботов на сайт 6:27 Создаем правила в WAF. Виды блокирования 7:09 1 правило. Разрешаем Белых ботов 7:36 2 правило. Выдаем капчу: кто не SSL или имеет IPV6 8:52 3 правило. Выдаем капчу,кто не HTTP2 или с пустым реферером 9:58 4 правило. Блокируем плохие парсеры 10:15 5 правило. Плохие страны - на усмотрение CloudFlare 10:50 Смотрим отчет География в Яндекс.Метрике 11:46 Включаем Bot Fight Mode - обнаружение JavaScript у ботов 12:14 Включаем Early Hints - предзагрузка страниц, ускорение 12:35 Сбрасываем кеш Purge Cache - Purge Everything 12:53 Включаем Browser Cache TTL - Respect Existing Headers 13:10 Включаем Crawler Hints - ускоряем индексацию поисковиками (возможно используют IndexNow) 13:56 Page Rules - настраиваем 3 правила базовых редиректов на уровне брандмауэра используя Forwarding URL 301 - Permanent Redirect 15:33 Включаем Normalize URLs to origin - убираем двойные слеши и закодированные символы в URL, приводим к стандарту 15:43 Включаем 0-RTT Connection Resumption - повышаем производительность при повторных визитах 15:57 Включаем gRPC - для снижения использования полосы пропускания, уменьшения задержек и ускорения 16:15 Включаем Pseudo IPv4 - для поддержки сервером IPv4 при посещениях с IPv6 16:28 Внимание Maximum Upload Size - больше 100 МБ пользователи не смогут загрузить на сайт! 17:07 Смотрим отчеты 17:41 Анализируем отчет файервола - сколько ботов и прошедших проверку 18:14 Как накручивают сайт, делают отказы - как выявить и результаты после включения защиты 21:35 Включаем отображение роботного трафика в отчетах Яндекс.Метрики 22:22 Турбо-страницы Яндекса и ботный трафик 22:55 Как CloudFlare влияет на посещаемости с органики? 23:08 Смотрим отчет по страницам в Яндекс Вебмастер 24:03 Смотрим отчет по страницам в Google Search Console 24:37 Смотрим отчет Тренды в Яндекс Вебмастер 25:16 Как анализировать влияние CloudFlare на SEO 25:24 Заключение 26:15 Что делать, если CloudFlare запретят в РФ? После завершения настройки DNS - отправляем обновление DNS по кнопке “Check nameservers“. Используемые инструменты: - Сервис защиты - Сервис для проверки ограничений на домене от Роскомнадзора Шаблон 1 правила: () or ( contains ““) or ( contains “; “) or ( contains “StackRambler“) or ( contains “msnbot“) or ( contains “Googlebot“) Шаблон 2 правила: ( in {::/0} and not in {13238}) or (not ssl and not in {13238}) Шаблон 3 правила: (not in {“HTTP/2“ “HTTP/3“ “SPDY/3.1“} and not in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not in {13238}) or ( eq ““ and not in {ВАШ_IP_АДРЕС_С_КОТОРОГО_ПАРСИТЕ_СВОЙ_САЙТ} and not in {13238}) Шаблон 4 правила: ( contains “Abonti“) or ( contains “AspiegelBot“) or ( contains “aggregator“) or ( contains “AhrefsBot“) or ( contains “Aport“) or ( contains “asterias“) or ( contains “Baiduspider“) or ( contains “hloader“) or ( contains “httplib“) or ( contains “HTTrack“) or ( contains “LinkpadBot“) or ( contains “lmspider“) or ( contains “LNSpiderguy“) or ( contains “ltx71“) or ( contains “lwp-trivial“) or ( contains “lwp-trivial“) or ( contains “magpie“) or ( contains “Mata Hari“) or ( contains “MaxPointCrawler“) or ( contains “MegaIndex“) Шаблон 5 правила: ( ne “RU“ and ne “BY“ and ne “KZ“) Подписывайтесь на YouTube-канал. Мой телеграм канал “Заметки по SEO “: SEO-блог: Алексей Солтык, SEO-специалист из Санкт-Петербурга. Контакты: Мои кейсы по SEO: #cloudflare #ddos