Как известно, поисковик Cuil читается “убийцей Google”, недавно это подтвердилось и в отношении других сайтов, заносимых в базу данных.
Бот Twiceler, обходящий сайты “по заданию” Cuil, работает некорректно, в результате чего многие ресурсы “падают”, сообщает ряд изданий.
“Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, – сообщил анонимный источник. – Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться”.
Информация о индексации сайтов ботом Cuil развернулись на форумах Admin Zone. Многие админы находят метод работы Twiceler некорректным, а один из форумчан заявил, что бот высосал у него 2 гигабайта трафика за месяц. Остальные “пораженцы” заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL – действуя “на авось” (и увеличивая базу).
Представители Cuil говорят, что бот экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.
