ну дальше да :)

Всем привет) существуют ли датасеты со стилистическим разбором слов и словосочетаний?

Что такое стилистический разбор, можно пример?

Например, когда текст о нейросетях, но в нем присутствуют архаизмы. "Десницей человека сейчас стали нейросети" (т.е. правой рукой).

Есть идея выделять из текста слова, когда автор их использует не в общем стиле текста. Но нужен как минимум корпус для этого

Если есть словарь таких устаревших терминов, то можно работать по словарю. То есть в твоём случае это несоответствие стилистики и темы?

И ты хочешь датасет, который разбирает словарь слов по стилистике

да

Тут сразу следует, что не только слова могут быть устаревшими или подчёркивать стилистику, но и структура фразы, то есть как у мастера Йоды, который использует те же слова (что и обычно) но в другом порядке... Нужно в любом случае модель на трансформерах для разметки стилистической принадлежности и датасет текстов для репрезентации этой стилистики...

для начала хотел бы попробовать вариант без применения трансформеров, чтобы сервак не нагружать. Поэтому и ищу варианты с разметкой по архаизмам, канцеляризмам, жаргонизмам и т.п.

Словарь устаревших слов русского языка онлайн
https://wordsonline.ru/dicts/obsolete.html

+ wikidictionary

На основе этих слов можно найти тексты, которые будут репрезентативными

Без трансформеров будет сложно, так как все равно стилистика рождается не от отдельных слов, а их комбинаций, и нужно кодировать семантические связи. Без этого ты будешь работать только с bag of words

жили раньше без нейронок и куча сервисов по анализу текстов было без их использования и требования авторов выполнялось ведь)

Взять те же сервисы по анализу текста: Тургенев, Главред, Текст.Ру - все без нейронок, а стилистику анализируют достаточно хорошо)

Не пробовали tf idf?

дело не в архитектуре, а отсутствии данных, на чём сделать можно

если есть тексты на конкретную тематику, то по ним можно составить idf

Вероятно, что устаревшие слова будут иметь значения idf выше остальных

В общем как-то двигаться в этом направлении

как один из вариантов, да. Но архаизм - это лишь один из десятков разных вариантов, который может встретиться в одном тексте. И tf-idf в таком случае никакой пользы не даст т.к. даже если обучить на 4+ н-грамм, то это лишь может показать вероятность, что в тексте допущена ошибка.

Саму ошибку можно вытащить по значению idf, но если в тексте будут более часто встречаемые н-граммы с превышающим весом, то ряд ошибок такая модель пропустит.