Size: a a a

Natural Language Processing

2020 November 10

SS

Sergey Sikorskiy in Natural Language Processing
BTW, there is a dedicated ontology chat: https://t.me/rusontology
But it is in Russian :)
источник

MD

Massimo D in Natural Language Processing
Sergey Sikorskiy
Original Wordnet is stored in a weird text format, but you can find different tools, which convert it into a database.
After that you can use any database tool to work with data.
Example: WordNet 3.0 browser
Finally I got the answer that was looking for! Thanks for your description
источник

MD

Massimo D in Natural Language Processing
I couldnt understand how that works.
источник

SZ

Sergey Zhuravlev in Natural Language Processing
Добрый день. Подскажите нет ли сервиса со словарем сокращений и аббревиатур русского языка с API?
источник

IJ

IL Jah in Natural Language Processing
@Pernat На сколько я помню - многие аббревиатуры есть на википедии и апи для поиска у них реализован
источник

SK

Sasha Korovii in Natural Language Processing
Здравствуйте, а кто делал подсветку слов в тексте, например у меня есть 10 слов мне нужно найти в тексте их и вставить теги. Регулярки на большом количестве слов очень медленнее. Перед началом извлекаю из слова стем, чтобы найти все словоформы. Например, использовал ahocorasick, но он ищет границы стема, а мне нужно границы слова. Может кто сталкивался с подобной задачей?
источник

AS

Alex Surname in Natural Language Processing
Sasha Korovii
Здравствуйте, а кто делал подсветку слов в тексте, например у меня есть 10 слов мне нужно найти в тексте их и вставить теги. Регулярки на большом количестве слов очень медленнее. Перед началом извлекаю из слова стем, чтобы найти все словоформы. Например, использовал ahocorasick, но он ищет границы стема, а мне нужно границы слова. Может кто сталкивался с подобной задачей?
зачем стем?
источник

AS

Alex Surname in Natural Language Processing
банальный поиск подстроки пробовали?
источник

AS

Alex Surname in Natural Language Processing
есть алгоритмы для более быстрого нахождения подстроки
источник

AS

Alex Surname in Natural Language Processing
если текст английский утф8, использовать для итерации однобайтовую кодировку и более быстрый язык
источник

AS

Alex Surname in Natural Language Processing
+оптимизации по ИО, посмотреть в сторону маппинга
источник

KS

Konstantin Smith in Natural Language Processing
Sasha Korovii
Здравствуйте, а кто делал подсветку слов в тексте, например у меня есть 10 слов мне нужно найти в тексте их и вставить теги. Регулярки на большом количестве слов очень медленнее. Перед началом извлекаю из слова стем, чтобы найти все словоформы. Например, использовал ahocorasick, но он ищет границы стема, а мне нужно границы слова. Может кто сталкивался с подобной задачей?
В Pullenti на пустом процессоре (без анализаторов) запускаем текст, получаем на выходе последовательность токенов (слов), в которых сделана (1) нормализация, то есть(можно проверить на одно или множество искомых слов и (2) у каждого токена есть BeginChar\EndChar - позиции в исходном тексте. Это решает задачу.
источник

SK

Sasha Korovii in Natural Language Processing
Alex Surname
зачем стем?
Ну  совпадения искать например у меня есть стем зелен (зеленый) и, чтобы находить слова зеленого, зеленим и т.д.
источник

AS

Alex Surname in Natural Language Processing
Sasha Korovii
Ну  совпадения искать например у меня есть стем зелен (зеленый) и, чтобы находить слова зеленого, зеленим и т.д.
ну так вы с задачей определитесь: вам нужно точное слово найти или другое что-то
источник

SK

Sasha Korovii in Natural Language Processing
Alex Surname
ну так вы с задачей определитесь: вам нужно точное слово найти или другое что-то
Не точный поиск слов в тексте, нужно подсвечивать все варианты слова
источник

DK

Dmitri Kapustin in Natural Language Processing
Посмотрел новую перезентацию нового M1 процесора Apple. Где они рассказывают про мощь процессора в нейронках. Возник вопрос. А кто то тренировал модельки на Apple Mac?  Задействуя всю мощь железа и движок Metal? Я нашел у них, SDK только конверторы готовых, просчитанных моделей, в их Core ML формат. Такое чувство, что обучать придется все равно не на Apple, а там где есть Nvidia CUDA.
источник

CT

Cookie Thief in Natural Language Processing
Dmitri Kapustin
Посмотрел новую перезентацию нового M1 процесора Apple. Где они рассказывают про мощь процессора в нейронках. Возник вопрос. А кто то тренировал модельки на Apple Mac?  Задействуя всю мощь железа и движок Metal? Я нашел у них, SDK только конверторы готовых, просчитанных моделей, в их Core ML формат. Такое чувство, что обучать придется все равно не на Apple, а там где есть Nvidia CUDA.
Подозреваю, что там речь шла не о тренеровке модели, а об инференсе
источник

MK

Marat Khuzhayarov in Natural Language Processing
Dmitri Kapustin
Посмотрел новую перезентацию нового M1 процесора Apple. Где они рассказывают про мощь процессора в нейронках. Возник вопрос. А кто то тренировал модельки на Apple Mac?  Задействуя всю мощь железа и движок Metal? Я нашел у них, SDK только конверторы готовых, просчитанных моделей, в их Core ML формат. Такое чувство, что обучать придется все равно не на Apple, а там где есть Nvidia CUDA.
я тренировал, но это был не tensor flow. Они выпустили свою мини студию для ML. https://developer.apple.com/machine-learning/create-ml/
источник

MK

Marat Khuzhayarov in Natural Language Processing
там довольно узкий класс задач
источник

MK

Marat Khuzhayarov in Natural Language Processing
и плюс модели только для core ml
источник