За лето 2008 года поиск Яндекса научился поддерживать ряд международных стандартов передачи данных: к XML, RSS и Atom добавились Sitemaps, протокол GZIP, MediaRSS и FOAF. Новый функционал поиска Яндекса позволяет быстрее и полнее индексировать сайты, ориентированные на «быстрый контент», — СМИ, социальные сервисы, мультимедийные хостинги и пр.
Изменения в скорости и глубине обработки сайтов поисковым роботом заметны на четырех поисковых сервисах Яндекса: веб-поиске, поиске по картинкам, видеопоиске и поиске по блогам. Поддержка стандарта Sitemaps позволяет вебмастерам сообщать Яндексу, как часто обновляются страницы сайта и какие из них следует обрабатывать в первую очередь. Протокол GZIP помогает снизить объем передаваемого трафика между сайтом и роботом Яндекса. MediaRSS удобен владельцам мультимедийных данных — для оперативного оповещения служб Яндекс.Картинки и Яндекс.Видео о новых изображениях и видеороликах. Передача данных в стандарте FOAF (friend of a friend) делает полнее и точнее поиск по блогохостингам и социальным сервисам, в частности — делает возможным поиск по лентам друзей и по профилям пользователей.
Сегодня стандарт Sitemaps поддерживают около 200 тыс. сайтов Рунета. Формат MediaRSS используется рядом мультимедийных хостингов, например — YouTube. Данные о профилях пользователей в формате FOAF транслируют все крупнейшие блогохостинги русскоязычного интернета, включая Livejournal.com, Liveinternet.ru и Blogs.Mail.ru.
