Поговорим сегодня про сегментацию китайского. Что это такое? Сегментация (или токенизация) – это членение текста на слова. В китайской письменности нет пробелов, и поэтому мы учимся находить границы слов при чтении, а программисты ищут способы автоматизировать этот процесс. Пользы от сегментации текстов много: она необходима для машинного перевода и нормальной работы онлайн-услуг вроде поиска или спам-фильтров, может помочь при чтении, необходима для любого вида компьютерного анализа языка (а многие направления современной лингвистики без него невозможны). Если ввести целое предложение в БКРС, он даёт словарные статьи для всех возможных сочетаний смежных иероглифов, из которых выходят значимые слова – и это тоже способ сегментации, хоть и не самый точный. Алгоритмов для поиска границ слов сейчас много, но новичкам советую начать с SegmentAnt  – это пользовательский интерфейс для нескольких наиболее распространённых на рынке решений. Помимо китайского умеет работать и с японским языком, а если у вас технический…