Оказывается, интернет переполнен роботами. Они незаметно читают веб-сайты одновременно с людьми. Например, какой-нибудь исследовательский институт может запустить бота для анализа новостей по заданной теме: он будет как ни в чем не бывало сидеть на сайте информационного агентства, вытаскивать из базы данных новости за последние 20 лет и считать, как часто там упоминается фраза «Елочка, гори». Роботы, по словам Михаила Воблова, бывают разной степени адекватности. Если программа написана аккуратно, она ведет себя прилично и никому не мешает (например, поисковые роботы Google и «Яндекса»). А бывают такие, которые могут положить сайт. Последние приходится блокировать по IP-адресам и ругаться с авторами.
«Был такой случай несколько лет назад, — рассказывает Михаил Воблов, руководитель службы интернет-проектов Interfax.ru. — В одном из университетов решили воспользоваться сайтом „Интерфакса“ для поиска и анализа всех новостей по ключевым словам. Робот был настроен настолько плохо, что стал формировать сотни запросов в секунду. В итоге он просто съедал производительность наших машин. Как только мы это обнаружили, сразу же заблокировали его».