d
Буду считать, что работает - не трожь )
Size: a a a
2021 July 13
t2
Хм, надо проверить насколько осмысленные эти эмбеддинги. Если в обучении таких длинных последовательностей не было, есть шанс что хвосты попортят эмбеддинги шумами. Я бы по метрике качества на конкретной задаче сравнивал.
М
Привет, посоветуйте, пожалуйста, несложную высокоуровевую библиотеку для кастомного NER, в которую можно запихнуть multilingual-bert. Данные разметила в BIO формате, разбивка на предложения очень условная (данные получены из PDF, поэтому точки там периодически лишние). Хотелось чтобы было не сложно, так как опыта мало
NS
hugging face!
М
Кажется, там не все так просто https://huggingface.co/transformers/custom_datasets.html#ft-trainer модель я натренировала, а как предикшены делать? Я знаю, что звучит плохо, но я везде вижу tutorial, как тренировать, а вот как пользоваться моделью - нет
A
обычно model(**inputs)
A
Чаще всего на странице где находится модель есть код для предикта с примером.
М
Спасибо, я все-таки склонилась к simpletransformers. Вроде понятнее, чем обычные.
ТС
Всем привет. Я использую модуль Natasha для синтаксического разбора. Члены предложения там подписываются как nsubj, root, advocate, acl и другое. Как и где можно узнать их значение? Документации по этому модулю не нашёл.
DD
https://universaldependencies.org/u/dep
и
https://universaldependencies.org/ru/index.html
в совокупности должны вроде как всё описывать
и
https://universaldependencies.org/ru/index.html
в совокупности должны вроде как всё описывать
ТС
Спасибо🙂
ТС
Ещё один вопрос по синтаксическому разбору в Natasha. Можно ли узнать какие слова иеархически связаны с другим словом(являются его потомками)?
d
В DocToken id и head_id это не оно?
ТС
Да, но там может быть несколько head_id с одинаковым значением, и как это разобрать мне не понятно.
d
head_id это айдишник "родителя"
Потомков может быть несколько
Потомков может быть несколько
d
Самый унылый формат для структуры "дерево" )
В один проход в цикле по всем элементам можно собрать всех вложеных и подвложенных потомков для всех
В один проход в цикле по всем элементам можно собрать всех вложеных и подвложенных потомков для всех
ТС
Спасибо, это всё объясняет🙂
2021 July 14
EI
Привет👋🏽. Кто знает/подскажет, библиотеку/метод очищающий корпус от мусорных слов: “привет озазаз” -> «привет» ?
A
Привет. Не смог найти такую таску в статье. Где про это посмотреть?