Size: a a a

Natural Language Processing

2021 February 05

A

Artem in Natural Language Processing
Alexander Kukushkin
В 2020 году активность в этом чатике заметно подросла, примерно сравнялась c ODS #nlp, там в 15 раз больше подписчиков, но пишет примерно столько же как здесь.

Интересно, что это происходит само собой. Может быть повлияла серия постов про проект Natasha летом 2020 https://t.me/natural_language_processing/19548. Может быть разблокировка Телеграма.

Короче говоря, сейчас здесь крупная русскоязычная площадка про NLP, поздравляю ))
Поздравляю!
источник

FF

Futorio Franklin in Natural Language Processing
Alexander Kukushkin
В 2020 году активность в этом чатике заметно подросла, примерно сравнялась c ODS #nlp, там в 15 раз больше подписчиков, но пишет примерно столько же как здесь.

Интересно, что это происходит само собой. Может быть повлияла серия постов про проект Natasha летом 2020 https://t.me/natural_language_processing/19548. Может быть разблокировка Телеграма.

Короче говоря, сейчас здесь крупная русскоязычная площадка про NLP, поздравляю ))
🔥
источник

SancheZz Мов in Natural Language Processing
источник

AK

Alexander Kukushkin in Natural Language Processing
Хотел на всякий случай перечислить для чего хорошо подходит этот чатик, всё про NLP в России и в мире. Кстати, мы выяснили что пересечение аудитории с ODS #nlp 50% https://t.me/natural_language_processing/23567, можно смело постить одно и то же ))

🤪 Вопросы и ответы.
Если повезет Давид ответит развернуто и дружелюбно даже на дурацкий вопрос https://t.me/natural_language_processing/25359. Константин расскажет как сделать всё что угодно с PullEnti https://t.me/natural_language_processing/25469.

🎙 Новость. Вышла статья, пост в блоге, записали видос, обновилась библиотека.
Русская модель для SpaCy https://t.me/natural_language_processing/25088. Новый PullEnti https://t.me/natural_language_processing/23754. Цикл конспектов Лены Войты https://t.me/natural_language_processing/24419. Запись семинара про RuGPT3 https://t.me/natural_language_processing/25617.

🔬 Анонс соревнования, семинара, воркшопа, конфы.
Созвоны проекта DeepPavlov https://t.me/natural_language_processing/25274. Семинары в Вышке https://t.me/natural_language_processing/25828. Воркшоп Хуавей https://t.me/natural_language_processing/22822.

🛶 Вакансия. Гайд такой же как в ODS https://goo.gl/4YjGE2.
В СберДевайсы https://t.me/natural_language_processing/22787, ко мне https://t.me/natural_language_processing/1595.
источник

E

Eug in Natural Language Processing
Eug
Добрый вечер!
Решаю такую задачу: есть шаблон документа №1 с формулировкой "Поставщик обязан восполнить недопоставленное количество товара в течение ___ дней." и шаблон №2 с формулировкой "Восполнение недопоставки Поставщиком не производится."
Надо определить, что документ с текстом "Восполнение недопоставленного количества Товара допускается лишь при наличии письменного согласия Покупателя." не относится ни к одному из приведённых шаблонов.
Подскажите, пожалуйста, в каком направлении двигаться.
Всем привет!
Не хочу показаться занудой, но хотелось бы понять, как трактовать отсутствие какой-либо реакции на вопрос?
Я спросил что-то малоприличное? Или эта тема типа "сказки о магрибском молитвенном коврике"? :-)
Может, вопрос не совсем по теме чата и стоит поспрашивать в других местах?
источник

AK

Anton K. in Natural Language Processing
Eug
Добрый вечер!
Решаю такую задачу: есть шаблон документа №1 с формулировкой "Поставщик обязан восполнить недопоставленное количество товара в течение ___ дней." и шаблон №2 с формулировкой "Восполнение недопоставки Поставщиком не производится."
Надо определить, что документ с текстом "Восполнение недопоставленного количества Товара допускается лишь при наличии письменного согласия Покупателя." не относится ни к одному из приведённых шаблонов.
Подскажите, пожалуйста, в каком направлении двигаться.
может я бегло прочитал, но задача не ясна. либо я не разбираюсь в договорах. не очень понятно, как связаны первые два шаблона и документ с текстом
источник

A

Artem in Natural Language Processing
Alexander Kukushkin
Хотел на всякий случай перечислить для чего хорошо подходит этот чатик, всё про NLP в России и в мире. Кстати, мы выяснили что пересечение аудитории с ODS #nlp 50% https://t.me/natural_language_processing/23567, можно смело постить одно и то же ))

🤪 Вопросы и ответы.
Если повезет Давид ответит развернуто и дружелюбно даже на дурацкий вопрос https://t.me/natural_language_processing/25359. Константин расскажет как сделать всё что угодно с PullEnti https://t.me/natural_language_processing/25469.

🎙 Новость. Вышла статья, пост в блоге, записали видос, обновилась библиотека.
Русская модель для SpaCy https://t.me/natural_language_processing/25088. Новый PullEnti https://t.me/natural_language_processing/23754. Цикл конспектов Лены Войты https://t.me/natural_language_processing/24419. Запись семинара про RuGPT3 https://t.me/natural_language_processing/25617.

🔬 Анонс соревнования, семинара, воркшопа, конфы.
Созвоны проекта DeepPavlov https://t.me/natural_language_processing/25274. Семинары в Вышке https://t.me/natural_language_processing/25828. Воркшоп Хуавей https://t.me/natural_language_processing/22822.

🛶 Вакансия. Гайд такой же как в ODS https://goo.gl/4YjGE2.
В СберДевайсы https://t.me/natural_language_processing/22787, ко мне https://t.me/natural_language_processing/1595.
А вакансия по судам до сих пор есть? а то ссылка на тестовую задачку битая
источник

E

Eug in Natural Language Processing
Anton K.
может я бегло прочитал, но задача не ясна. либо я не разбираюсь в договорах. не очень понятно, как связаны первые два шаблона и документ с текстом
Все три текста про одно и то же: восполнение недопоставки.
Грубо говорят, в шаблоне 1 говорится, что восполнять товар *надо*, в шаблоне 2 - *не надо*, а в тексте написано, что *можно при определённых условиях*.
Не могу найти инструмент/подход, который  обеспечит "понимание" этих отличий.
источник

AK

Anton K. in Natural Language Processing
в лоб решить нельзя? описав все возможные формулировки?
источник

MK

Max Kuznetsov in Natural Language Processing
Как написал коллега выше задача поставлена слишком размыто. Если необходимо проверить на точное соответствие шаблонам, то нужно реализовать преобразование текста договора в шаблон при помощи NER и выполнить сравнение.
источник

AK

Alexander Kukushkin in Natural Language Processing
Artem
А вакансия по судам до сих пор есть? а то ссылка на тестовую задачку битая
Не, не актуальна, три года прошло ))
источник

A

Artem in Natural Language Processing
Alexander Kukushkin
Не, не актуальна, три года прошло ))
)))
источник

DD

David Dale in Natural Language Processing
Eug
Все три текста про одно и то же: восполнение недопоставки.
Грубо говорят, в шаблоне 1 говорится, что восполнять товар *надо*, в шаблоне 2 - *не надо*, а в тексте написано, что *можно при определённых условиях*.
Не могу найти инструмент/подход, который  обеспечит "понимание" этих отличий.
Вообще есть задача natural language inference, которая часто формулируется так: есть предложение А и предложение Б, и нужно понять, какая между ними логическая связь: Б следует из А, либо Б противоречит А, либо ни то ни другое.  И ваша задача на неё кажется похожей.

В принципе, уже есть модели, обученные на задачу NLI (например, rubert от deeppavlov такой был вроде бы), но скорее всего в их обучающей выборке было мало текстов договоров, и вам нужно будет дообучать их на собственной выборке.

И в любом случае, эти модели работают на уровне предложений, а не на уровне целых документов, так что вам ещё отделно нужно будет выцеплять из текст договора предложение, относящееся к теме восполнения. Впрочем, это как раз можно сделать ключевыми словами или каким-нибудь простым классификатором предложений.
источник

E

Eug in Natural Language Processing
Anton K.
в лоб решить нельзя? описав все возможные формулировки?
ну а как тут опишешь все формулировки, если тут про выделение сути: утверждение, отрицание или что-то третье
источник

MK

Max Kuznetsov in Natural Language Processing
Alexander Kukushkin
Не, не актуальна, три года прошло ))
А 50 млн судебных решений в pdf это арбитраж или СОЮ?
источник

A

Artem in Natural Language Processing
Max Kuznetsov
А 50 млн судебных решений в pdf это арбитраж или СОЮ?
арбитраж
источник

A

Artem in Natural Language Processing
ну это я так думаю , правда то может быть другой)
источник

MK

Max Kuznetsov in Natural Language Processing
Artem
арбитраж
Ребята из КАД очень активно борются с скрапингом. Правда есть вариант что скрапили К+. Но все равно интересно.
источник

A

Artem in Natural Language Processing
Max Kuznetsov
Ребята из КАД очень активно борются с скрапингом. Правда есть вариант что скрапили К+. Но все равно интересно.
а откуда инфа что они борются?)
источник

E

Eug in Natural Language Processing
David Dale
Вообще есть задача natural language inference, которая часто формулируется так: есть предложение А и предложение Б, и нужно понять, какая между ними логическая связь: Б следует из А, либо Б противоречит А, либо ни то ни другое.  И ваша задача на неё кажется похожей.

В принципе, уже есть модели, обученные на задачу NLI (например, rubert от deeppavlov такой был вроде бы), но скорее всего в их обучающей выборке было мало текстов договоров, и вам нужно будет дообучать их на собственной выборке.

И в любом случае, эти модели работают на уровне предложений, а не на уровне целых документов, так что вам ещё отделно нужно будет выцеплять из текст договора предложение, относящееся к теме восполнения. Впрочем, это как раз можно сделать ключевыми словами или каким-нибудь простым классификатором предложений.
Спасибо за наводку. Посмотрю на вариант с natural language inference.
источник