К задачам компьютерной лингвистики относится определение словарной формы слова. Четыре года тому назад «Яндекс» выпустил mystem для того, чтобы решить эту задачу.
Mystem представляет собой морфологический анализатор русского языка, который предназначен для некоммерческого использования. Данная консольная программа производит морфологический анализ слов, новых и известных словарю.
Обновленная версия программы имеет массу улучшений. Изменения коснулись словаря, а также интерфейса. Основные принципы работы и алгоритмы не были изменены.
Эксперты сайта compulenta.ru отмечают, что словарь увеличился в два раза. Увеличить словарь также позволил проект AOT. Был добавлен частотный словарь русского языка, его создателем являются сотрудники Института им. В.В. Виноградова на основе Национального корпуса русского языка.
В обновленной версии mystem будет другой разбор текста, так как словарный запас увеличен.
В интерфейсе добавлена поддержка всевозможных кодировок. Кроме того, упразднено большое количество устаревших опций.
