Владелец проектов UAProm и RUProm, компания SmartWeb, закрыла доступ к своим ресурсам роботу «Яндекса». Это произошло из-за того, что бот выкачивал за секунду десятки страниц.
В блоге компании появилась запись, в которой говорилось о многократном превышении количества соединений с СУБД. Это стало следствием повышенной активности YandexSomething-бота. Всего за один час робот выкачал 19238 страниц на серверах uaprom.net и ruprom.net. По последним данным, предоставленным владельцами ресурсов, число запросов в секунду доходило до тридцати.
После такой «атаки», владельцы приняли решение забанить бота YandexSomething через robots.txt. Впоследствии от этой затеи пришлось отказаться, поскольку сайты вообще перестали индексироваться. Решить проблему удалось через уменьшение частоты доступа (Crawl-delay).
Как отмечает webplanet.ru, это не первый подобный случай в истории Яндекса. В начале мая подобные жалобы поступили от хостинг-компании «Мастерхост». В «Яндексе» эту ситуацию прокомментировали достаточно спокойно, мотивируя «сумасшествие» бота сменой времени его обходов.
