Скорость обхода сайта Яндексом - какую поставить чтобы сайт не падал

Скорость обхода сайта Яндексом - какую поставить чтобы сайт не падал Сегодня расскажу про такую проблему, которой уже много лет, но яндекс с ней никаким образом не борется, поэтому она до сих пор остаётся актуальной. Проблема связана с неистовой атакой ботов яндекса на сайт, из-за чего сайт зачастую падает. Какой бы ни был мощный хостинг, это никого не обойдёт, если яндекс хочет вас загасить своими ботами. Что можно сделать в этой ситуации? Во-первых, нужно зайти в яндекс вебмастер – индексирование – скорость обхода и выставить минимальную скорость обхода, то есть не доверять яндексу, как они тут предлагают, а минималку выставить и то это совсем не гарантия того, что ваш сайт не ляжет под атакой ботов. Но тем не менее, хотя бы это нужно сделать и 50/50 это может помочь. Если проблема не пропадает, сайт падает, и вы видите, что это из-за ботов яндекса, то пишем платонам и объясняем ситуацию, что у нас постоянное падение сайта на хостинге, хостинг не выдерживает из-за того, что слишком активно ваши боты заходят на сайт. Такая проблема часто наблюдается, если у вас много-много поддоменов и получается так, что яндекс направляет не поочерёдно этих ботов к вам на сайт, а прям сразу скопом на все, все поддомены, и вот у вас, например, 150 городов, и бот заходит на каждый из 150 городов много раз, хостинг не выдерживает, падает. Как я писал и как я справлялся с этой ситуацией? Я писал, чтобы они на настроили обход поочерёдно по поддоменам. Они сами предлагают и соглашаются на такую меру и, соответственно, ещё меньше выставляли лимиты, чем которые доступны в мастере, потому что в зависимости от сайта можно поставить разную скорость обхода: где-то ещё ниже можно поставить, а где-то можно вообще вручную попросить платонов – так называемую техподдержку яндекса – чтобы они выставили для конкретного сайта скорость обхода ещё ниже и это обычно помогает. Но также, естественно, помимо ботов яндекса, ещё зачастую хостинг может упасть из-за одновременного наплыва и ботов яндекса, и гугла, и зачастую ещё всевозможных краулеров, которые вас непрерывно тоже могут обходить. На моей практике это был Ahrefs и Screaming Frog. Все это, когда вместе накапливается, получается падение. Но зачастую только яндекс может положить ваш сайт в одного даже. Если вы эту проблему устраните, то большая вероятность, что вам не придётся никаких других мер предпринимать.