OS
каким именем в коде можно назвать то, что может быть и словом, и токеном, и предложением?
Size: a a a
2020 August 27
AK
AK
Кто-то сталкивался с проблемой установки natasha.markup? Хочу достать именованные сущности из текста (имена, адреса, даты), но при установке пишет, что нет соответствующей версий, удовлетворяющей natasha.markup. Какие для неё требования по версиям?
Речь про какую-то старую версию natasha, сейчас используется https://github.com/natasha/ipymarkup
OR
Речь про какую-то старую версию natasha, сейчас используется https://github.com/natasha/ipymarkup
только сегодня установил на Python 3.6.9
OR
с этого репозитория причём
OR
хотя, понял ошибку
AK
Лена Войта публикует доп материалы https://lena-voita.github.io/nlp_course.html к ШАДовским лекциям https://github.com/yandexdataschool/nlp_course. Первый про старые добрые пословные эмбеддинги https://lena-voita.github.io/nlp_course/word_embeddings.html. Лучшая выжимка на тему из того что видел.
- Про связь классических методов типа SVD и word2vec
- Почему работает king - man + woman
- Про связь классических методов типа SVD и word2vec
- Почему работает king - man + woman
DK
Лена Войта публикует доп материалы https://lena-voita.github.io/nlp_course.html к ШАДовским лекциям https://github.com/yandexdataschool/nlp_course. Первый про старые добрые пословные эмбеддинги https://lena-voita.github.io/nlp_course/word_embeddings.html. Лучшая выжимка на тему из того что видел.
- Про связь классических методов типа SVD и word2vec
- Почему работает king - man + woman
- Про связь классических методов типа SVD и word2vec
- Почему работает king - man + woman
так Аня Потапенко в 2018 еще показала, что king-man+woman на самом деле начетничество и не работает, это было в курсе от вышки
AK
так Аня Потапенко в 2018 еще показала, что king-man+woman на самом деле начетничество и не работает, это было в курсе от вышки
DK
Переслано от Denis Kirjanov
Привет!
Дополз до пары, где ты рассказываешь про w2v и проблемы с аналогиями. Спасибо, очень ценно, только можешь пояснить — какой алгоритм был бейзлайном по сравнению с w2v, когда мы определяем, лучше или хуже бейзлайна он работает?)
Дополз до пары, где ты рассказываешь про w2v и проблемы с аналогиями. Спасибо, очень ценно, только можешь пояснить — какой алгоритм был бейзлайном по сравнению с w2v, когда мы определяем, лучше или хуже бейзлайна он работает?)
DK
Переслано от Anna
Да, могу. Они смотрели на ближайшее слово к каждому из трёх данных и если хотя бы что-то из этого было правильным ответом- засчитывали
DK
Переслано от Anna
То есть тут был читинг в том что они на самом деле подсматривали в ответы. При этом это все равно показывает что арифметические операции не супер важны. А дело только в том повезет или не повезет иметь таргетное слово близко к женщине или королю, или не повезет.
DK
потерял ссылку, но где-то были ее слайды про то, почему в общем это нечестная операция
OR
в прошлых версиях можно было выделенные слова в словарь закинуть, сейчас есть эта возможность? Если да, то подскажите, пожалуйста, как?
C
Мне нужно разделять текст в предложения. Я посмотрел наиболее популярные модели: razdel, rusenttokenize. Судя по таблице они имею самую высокую точность, но почему то они ломаются если в тексте новое предложение начать с маленькой буквы ... В интернете, особенно в соц. сетях, люди редко используют заглавные буквы... а обрабатывать эти данные хотелось бы.
Что тут можно поделать?
Что тут можно поделать?
N
убрать пунктуацию и перетренировать без неё? ну если глобально, то проблема в этом во многом
N
C
но здесь речь ведь о регистре букв, вот пример:
'Эта шоколадка за 400р. ничего из себя не представляла. Артём решил больше не ходить в этот магазин' - диппавлов работает
'Эта шоколадка за 400р. ничего из себя не представляла. артём решил больше не ходить в этот магазин' - диппавлов НЕ работает(
'Эта шоколадка за 400р. ничего из себя не представляла. Артём решил больше не ходить в этот магазин' - диппавлов работает
'Эта шоколадка за 400р. ничего из себя не представляла. артём решил больше не ходить в этот магазин' - диппавлов НЕ работает(
C
Может тут связь, которую я не замечаю?
DP
капитализация