N-граммы. Разреженность множества N-грамм, методы их сжатия.
Марковские цепи, скрытые марковские цепи. Алгоритмы «вперёд-назад», Витерби, Баума-Велша. ЕМ-алгоритм. Примеры использования марковских цепей. Извлечение имён собственных, адресов. Исправление опечаток в обычных текстах и поисковых запросах.