Специалисты IBM Костас Бекас и Аллессандро Куриони разработали алгоритм, с помощью которого можно провести анализ терабайтных объемов данных за несколько минут, причем без предварительной подготовки.
При этом исходный код алгоритма составляет менее тысячи строк. Революционный алгоритм появился в лаборатории IBM в Цюрихе. Он дает возможность проводить сортировку, сравнение и анализ миллионов случайных наборов данных. Ранее такие операции проводились только с помощью суперкомпьютеров, да и то в течение нескольких дней. Работы по созданию алгоритма продолжались два года. Ожидается, что его применение повысит эффективность анализа таких данных, как тенденции пользования электроэнергии, результаты метеорологических наблюдений, показатели финансовых рынков и др.
В алгоритме используются модели калибровки данных и инструменты статистического анализа. Это позволяет выявить нужные модели измерения и скрытые взаимосвязи между наборами данных. Традиционные методики анализа действуют на основе индивидуальной обработки каждого из множества наборов данных. Новый алгоритм, напротив, сравнивает все их между собой. Для определения возможностей алгоритма разработчики провели эксперимент. В нем использовалась суперкомпьютерная система Blue Gene/P, находящаяся в исследовательском центре Forschungszentrum Julich (Германия). Эта система занимает четвертое место в мировом рейтинге Топ-500 суперкомпьютеров. На ней была запущена обработка 9 Тб данных. При использовании нового алгоритма на анализ данных потребовалось менее 20 минут. В случае традиционного анализа данных процесс занял целый день. Кроме того, машина в этом случае работала на предельной скорости в 1 петафлопс. Это привело к значительному увеличению энергопотребления.
По данным сайта compulenta.ru, в IBM планируют внедрить новый алгоритм в состав некоторых услуг, предоставляемых компанией. Возможно, новинка найдет применение в портфеле программного обеспечения статистического анализа компании SPSS, которая была поглощена IBM пошлым летом. Также нет сомнений, что алгоритм будет использован в разработке глобальной IBM-концепции «Разумная планета». Эта концепция посвящена решению вопросов бизнес-аналитики, а также имитационному и предсказательному моделированию событий в различных сферах жизни.
