как один из вариантов, да. Но архаизм - это лишь один из десятков разных вариантов, который может встретиться в одном тексте. И tf-idf в таком случае никакой пользы не даст т.к. даже если обучить на 4+ н-грамм, то это лишь может показать вероятность, что в тексте допущена ошибка.

Саму ошибку можно вытащить по значению idf, но если в тексте будут более часто встречаемые н-граммы с превышающим весом, то ряд ошибок такая модель пропустит.

жили раньше без нейронок и куча сервисов по анализу текстов было без их использования и требования авторов выполнялось ведь)

Взять те же сервисы по анализу текста: Тургенев, Главред, Текст.Ру - все без нейронок, а стилистику анализируют достаточно хорошо)

как один из вариантов, да. Но архаизм - это лишь один из десятков разных вариантов, который может встретиться в одном тексте. И tf-idf в таком случае никакой пользы не даст т.к. даже если обучить на 4+ н-грамм, то это лишь может показать вероятность, что в тексте допущена ошибка.

Саму ошибку можно вытащить по значению idf, но если в тексте будут более часто встречаемые н-граммы с превышающим весом, то ряд ошибок такая модель пропустит.

Нужно начинать со словаря, который составил кто-то ещё для возможно других целей, исходя из словаря находить тексты, в которых будут эти термины использоваться, и на них обучать трансформер. Если будешь искать 4-н граммы, то получишь очень разряженную таблицу.

Как очень просто различить (в маркировке) слова, имеющие немного разные значения: повесить_на_крючок, повесить_на_виселице ?

не знаю. может быть. Как лучше маркировать это в словаре?

Я про банальный word2vec
Городить в словаре ссылки на похожие слова по мне так себе идея

Банально когда Левенштейном)

Чисто по символам?

А w2v уже не банально)

w2v не знаю. Посмотрел. Надо приписывать cluster_label или как-то учитывать варианты значения? как можно записать в словаре разные значения слов?