Size: a a a

Natural Language Processing

2020 August 18

DD

David Dale in Natural Language Processing
Vitalii Smirnov
Здравствуйте! Добрый день! Есть система, в которой данные представляются пользователю в виде формы ввода на основании дерева связанных показателей (разная степень обобщения данных). Сейчас дерево показателей строится вручную, но мне необходимо автоматизировать построение дерева показателей (дальнейшую детализацию показателей). Дерево показателей также используется для сбора данных из открытых источников. На, Ваш взгляд, насколько это реализуемо с использованием нейронных сетей и в какие деньги обойдётся разработка, включая НИР? Не знаю насколько понятно обозначил задачу. Отвечу на все дополнительные вопросы. Готов также пообщаться лично, либо по телефону
Может быть, я туплю, но мне непонятно, что это за такое дерево связанных показателей, из чего оно строится, и какие критерии того, что оно построено плохо/хорошо.
Может быть, стоит привести пример.
источник

VS

Vitalii Smirnov in Natural Language Processing
Давид, спасибо за отклик. Например, есть объект товар, к которому привязаны его характеристики (например, описание), отдельная сеть веток свойства товара
источник

VS

Vitalii Smirnov in Natural Language Processing
далее есть связь между объектом товар и показателем цена товара. у цены товара есть свойство период действия
источник

VS

Vitalii Smirnov in Natural Language Processing
каша?
источник

DD

David Dale in Natural Language Processing
Пока что каша.
Если говорить про задачу автоматизации построения дерева, то надо описать, что на входе (например, описание товара в виде сырого текста), что на выходе (например, массив стандартизированных свойств товара), и как проверяется корректность выхода (например, эти свойства товара сопоставляются со свойствами, вписанными вручную).
источник

ck

cnstntn kndrtv in Natural Language Processing
Vitalii Smirnov
Давид, спасибо за отклик. Например, есть объект товар, к которому привязаны его характеристики (например, описание), отдельная сеть веток свойства товара
Это RDF?
источник

VS

Vitalii Smirnov in Natural Language Processing
cnstntn kndrtv
Это RDF?
классный вопрос! я сам городил эту базу взаимосвязей в mysql. а обрабатывал с помощью php, так как вся работа с пользователями через web-портал
источник

VS

Vitalii Smirnov in Natural Language Processing
David Dale
Пока что каша.
Если говорить про задачу автоматизации построения дерева, то надо описать, что на входе (например, описание товара в виде сырого текста), что на выходе (например, массив стандартизированных свойств товара), и как проверяется корректность выхода (например, эти свойства товара сопоставляются со свойствами, вписанными вручную).
спасибо за замечание. тогда я подготовлю внятную постановку задачи и напишу
источник

ck

cnstntn kndrtv in Natural Language Processing
Vitalii Smirnov
спасибо за замечание. тогда я подготовлю внятную постановку задачи и напишу
Хочешь составить иерархию свойств товаров, или у тебя уже зафиксированы свойства и ты хочешь заполнить эти поля для товаров?
источник

AO

Alex Orgish in Natural Language Processing
Или автоматически построить таксономию ?
источник

VS

Vitalii Smirnov in Natural Language Processing
правильно, задача двойная 1) онтология, 2) наполнение базы данных с привязкой к оквэд, октмо, времени. Про товары - только пример
источник

VS

Vitalii Smirnov in Natural Language Processing
если расставлять приоритеты, то первое, постановка задачи, второе, согласование цены
источник

VS

Vitalii Smirnov in Natural Language Processing
мне проще найти того, кто явно возьмётся и сделает, и с ним совместно подготовить техническое задание. и вторым этапом, договориться о цене
источник

ck

cnstntn kndrtv in Natural Language Processing
Vitalii Smirnov
правильно, задача двойная 1) онтология, 2) наполнение базы данных с привязкой к оквэд, октмо, времени. Про товары - только пример
Автоматическое составление онтологии, по-моему, задача долгая. Результат работы алгоритма нужно корректировать руками, в сыром виде он не пригоден. Обычно сразу составляют руками, а всякими автоматическими методами делают подсказки для инженеров знаний. Методы - гуглить, смотреть готовые продукты (poolparty например), можно еще добавить выделение ключевых слов или парсить сайты и другие источники, смотреть как они это составили.
источник

VS

Vitalii Smirnov in Natural Language Processing
то есть использовать не NLP, а некий механизм логического вывода?
источник

VS

Vitalii Smirnov in Natural Language Processing
когда-то как вариант я думал, использовать томита-парсер для вычленения фактов, но задача классификации фактов всё равно остаётся
источник

ck

cnstntn kndrtv in Natural Language Processing
А как Яндекс.Маркет делает? Новые товары появляются постоянно, как они добавляют свойства для фильтрации?
источник

DD

David Dale in Natural Language Processing
cnstntn kndrtv
А как Яндекс.Маркет делает? Новые товары появляются постоянно, как они добавляют свойства для фильтрации?
Насколько я представляю, свойства добавляет не сам Маркет, а продавцы товаров, а Маркет определяет протокол, по которому товары должны быть описаны.
И наверняка это всё ещё валидируется Толокой)
источник

ck

cnstntn kndrtv in Natural Language Processing
David Dale
Насколько я представляю, свойства добавляет не сам Маркет, а продавцы товаров, а Маркет определяет протокол, по которому товары должны быть описаны.
И наверняка это всё ещё валидируется Толокой)
Руками добавляют, руками валидируют.
источник

AK

Alexander Kukushkin in Natural Language Processing
Не знаю как сейчас, несколько лет назад там много делалось асессорами
источник