Pymorhpy2 can probably help. I think you may need something a bit more advanced, though

По-моему pullenti это умеет (но я не супер уверена)

Hi! AI (NLP) проект ищет кофаундера с экспертизой в Python/NLP . BizDev и непосредственно код в соотношении около 70/30. Есть MVP, есть pre sale, привлекли инвестиции. регистрируем компанию.  Если интересно, пишите в личку. 🔥🔥

Спасибо за рекомендацию

Thanks, I'll check it out! )

прошу сильно не бить, за глупый вопрос) использую pytorch, LSTM. при этом юзаю CrossEntropyLoss не могу догнать данную метрику. если ее значение большое, то это хорошо или плохо? к примеру у меня такие данные на выходе:
Epoch: 1, Training Loss: 46.69, Validation Loss: 30.99
Epoch: 2, Training Loss: 46.34, Validation Loss: 30.87
Epoch: 3, Training Loss: 45.94, Validation Loss: 47.92
Epoch: 4, Training Loss: 45.85, Validation Loss: 34.75
Epoch: 5, Training Loss: 46.16, Validation Loss: 34.20

Cross entropy чем меньше, тем лучше. Особенно на валидационной выборке. У вас validation loss падает, так что всё в порядке, продолжайте учить дальше.

Вообще любой loss, чем меньше, тем лучше. loss function переводится как функция потерь, то есть функция, которая возвращает потери модели на выборке.

Чем меньше потерь, тем лучше)

У тебя по сути все обучение сводится к минимизации твоей функции потерь

А уж как ты это делаешь, градиентным спуском или другим способом, это частный вопрос.

фигня какая то получается)) задача бинарной классификации(дисбаланс очень большой!). при использовании классических методов выбрал метрику F1 и она достигала 90%. при использовании сетки правильно ли выбирать метрику CrossEntropyLoss? и как сравнивать по эффективности модели классические и сетки?

Сравнивать по эффективности уже обученные модели, в том числе нейросети, можно с помощью F1 или ROC AUC, это совершенно нормально.
Но непосредственно в процессе обучения минимизируется CrossEntropyLoss чисто по технической причине: потому что F1 и ROC AUC не дифференцируемы по параметрам модели. При этом F1 и ROC AUC можно на каждой эпохе тоже замерять на валидационной выборке, чтобы понять, насколько хорошо модель работает на текущем этапе.

ок

кажется, что все-таки слишком большое значение лосса, у меня обычно на бинарной классификации достаточно быстро к 1 и ниже сходился лосс

Подскажите, пожалуйста, на текущий момент context QA хорошей моделью для русского языка всё ещё является bert от deeppavlov?

Присоединюсь к вопросу, тоже интересно

LaBSE попробуйте

Хорошо. Протестирую.

Можно ещё попробовать мою rut5-base-multitask, она в том числе на SberQUAD обучалась (задача comprehend)