Свой домен / своё понимание, что такое сходство

привет! а кто-то использовал openkiwi? для оценки качества перевода?

Может проще будет NER натравить?

Мне кажется, здесь ключевое слово "со всеми". Речь ведь идет о персональных данных? Классификатор сможет найти "все" NER?

Сомневаюсь, что найдется "полный" список, а применить готовый ner проще, чем искать список с высокой полнотой

Посмотрим, что там Наташа умеет:)

Спасибо

Учитывая новые тенденции называть детей экзотическими, иностранными и т. п. именами, полный список вряд ли возможен.

Не, у меня только те кому 18+, так что думаю, что наташа справится

Требовалось адекватное понимание близости (мерял по косинусу). Несмотря на то, что у меня узкий домен, предтренированные дали лучший эффект на downstream задаче. Видимо, в такой постановке тоже экспериментально нужно проверять. Ну, хоть без работы не останемся :)

Там ещё минимум некий нужен данных для нормальных векторов

Ну и полученные вектора можно свернуть (способ подглядел у мастодонтов этого чата).
Режем каждый текст пополам и поверх векторов триплет лоссом простенький dense

Ага, тоже отличный момент, который я обязательно проверю 👍

Гуглить если что соревку по кластеризации новостей от Телеграмм

Коллеги, подскажите, не встречался ли кому аналог natasha/razdel, только для английского???

(про NLTK с кастомизациями и SpaCy знаю, но для юридических доков их не хватает)

Привет! Подскажите, пожалуйста, качество JamSpell для русского языка в бесплатной и платной версиях чем-то отличается?

Hello
Is there any tutorial for implementing multi-class text classification using deep learning?

Тогда вам стоит обучить классификатор строк вашего исходного текстового файла. От разметки строк не уйти. Обучение строите на парах: строка из вашего текстового файла и соответствующая строка из Бланка(пустой формы)  данного документа. После работы классификатора по строкам, вам останется лишь сгруппировать строки в документы

Всем привет! Возможно, кто-то сможет подсказать: пользуюсь HelsinkiNLP для перевода текстов(соответственно, использую MarianTokenizer и MarianMTModel из библиотеки transformers)
Проблема состоит в том, что для перевода сотни текстов нужна целая минута, а у меня таких вот текстов 320к (несколько дней ждать, в общем)

Быть может, кто-то знает как это дело правильно параллелить? С пайтоновским multiprocess не вышло, хотя я пытался инициализировать модельки и внутри потоков, и вне. Замена multiprocess на аналог от PyTorch тоже не помогла.

Как вы думаете, это возможно вообще? Я бы хотел, чтобы, скажем, 16 текстов переводились одновременно. Ресурсы для этого есть) а вот как это правильно собрать — понимания нет.

Если у кого-то есть рабочий пример — дайте знать)

А такие варианты вы рассматривали?
https://mcs.mail.ru/easy-k8s/