Бюджеты сканирования поисковых систем и точки роста сайта

Как определить бюджет сканирования Google? Как оптимизировать краулинговый бюджет? Какие при этом есть подводные камни и важные нюансы? Смотрите круглый стол с DrMax и Максом Пивоваровым. Сайт DrMax: ​ Telegram канал DrMax: --- Спонсор вебинара - компания Userator, которая является эффективным сервисом продвижения с помощью поведенческих факторов с 2010 года с помощью использования живых людей без ботов для попадания из ТОП20 в ТОП1 Яндекса и Google. --- Мой блог: Мой курс по продвижению англоязычных сайтов SEO Шаолинь (по промокоду “вебинар“ буду рад сделать для вас хорошую скидку): Мои книги по SEO (на книги по промокоду “вебинар“ тоже скидка): Мои консультации: - по русскоязычным сайтам - по англоязычным Мои аккаунты и сообщества ВК: - мой аккаунт - наша группа по SEO в рунете - наша группа по англоязычному SEO Telegram: - SEO в рунете - англоязычное SEO - анонсы моих вебинаров по SEO - мой личный канал Подписывайтесь на мой канал в Дзене: Яндекс Кью: - SEO в рунете - англоязычное SEO Присоединяйтесь ко мне в TenChat: Подписывайтесь на мой канал в Rutube: Подписывайтесь на мой YouTube канал: --- Таймкоды: 0:00 Начало 4:08 Что такое бюджет сканирования сайта? 6:48 Как узнать краулинговый бюджет? 13:32 Полезные отчеты из Screaming Frog SEO Spider через API 17:28 Удаление дублированного контента 19:06 Закрытие сканирования в 20:50 Soft 404 ошибки 22:29 Держите XML карты сайта в актуальном состоянии 24:52 Избегайте длинных цепочек редиректов 29:41 Выводы - 1 часть 34:05 Свежесть контента 35:49 Оптимизация бюджета сканирования сайта 43:01 Выводы - 2 часть 56:10 Что за бот “Загрузка объектов страниц“? 1:00:00 Какие частые ошибки мешают сканированию сайта? 1:02:49 Как сделать, чтобы ненужные страницы не сканировались? 1:04:35 Чем анализировать логи сервера - Screaming Frog SEO Log Analyzer 1:07:31 Что делать с 404 ошибками? 1:09:43 Как улучшить сканирование сайта после переезда на новый домен или движок? 1:15:02 Какие аддурилки сейчас самые лучшие? 1:18:12 Фишки из Google Search Console 1:28:46 Как отправить на сканирование много страниц? 1:30:30 Можно ли закрывать сайт от индексации для всех, кроме Googlebot? 1:34:22 Используете ли Indexing API? 1:37:08 Можно ли приклеить крутой домен ру к домену под бурж? 1:38:08 Продолжение вопроса про 404 ошибки 1:44:08 Если нет возможности удалить ненужные страницы, может, noindex nofollow? 1:49:37 Как спарсить все запросы из Google Search Console? 1:56:27 Советы по улучшению сканированию JSON и Javascript файлов.