Size: a a a

Natural Language Processing

2020 October 29

DS

Damir Safix in Natural Language Processing
да, помнишь фильм такой был, малыш Джуниор
источник

b

bratq in Natural Language Processing
Добрый вечер всем. Стоит такая задача:
Есть обьявления, состоят из заголовка + описание + картинки.
Стоит 3 задачи, определить правильная ли категория, правильный ли заголовок и не продается что-то нелегальное.
Пытался делать так для категорий : title + body + Efficient вытаскивал текст с картинки(что там) , энкодил tf-idf  потом SVC и выходит 85 max % accuracy, но в проде это все падает то 75.
Насчет правильного заголовка я в замещательстве. Как мне дать алгоритму понять чтобы он смотрел что в заголовке например Iphone 5 а в описание Samsung s7 и это не правильно?
Придется делать multiple input для модели?
Подскажите пожалуйста направление, или что гуглить/использовать.
Благодарю.
источник
2020 October 30

КМ

Крюков Максим... in Natural Language Processing
Всем добрый день! Подскажите, есть ли готовые/полуготовые классификаторы профессий на русском?
источник

VS

Vitalii Smirnov in Natural Language Processing
Здравствуйте! Решили разработать экспертную систему на PyKE. Появилась идея попробовать автоматизировать создание продукционных правил. Буду благодарен, если подскажите AI-инструменты для автоматизации подготовки продукционных правил.
источник

VS

Vitalii Smirnov in Natural Language Processing
Vitalii Smirnov
Здравствуйте! Решили разработать экспертную систему на PyKE. Появилась идея попробовать автоматизировать создание продукционных правил. Буду благодарен, если подскажите AI-инструменты для автоматизации подготовки продукционных правил.
если такие инструменты существуют ...

нагуглил несколько статей про ANFIS – Adaptive Network Based Fuzzy Inference System – адаптивная сеть нечеткого вывода. это в тему?
источник

VS

Vitalii Smirnov in Natural Language Processing
Vitalii Smirnov
Здравствуйте! Решили разработать экспертную систему на PyKE. Появилась идея попробовать автоматизировать создание продукционных правил. Буду благодарен, если подскажите AI-инструменты для автоматизации подготовки продукционных правил.
кто-то с механизмом логического вывода, экспертными системами дело имел?
продукционные правила создают на основании знаний экспертов. мы хотим автоматизировать с использованием AI процесс подготовки продукционных правил)
скажите, это, на Ваш взгляд, фантастическая задача?
источник

MK

Max Kuznetsov in Natural Language Processing
Vitalii Smirnov
кто-то с механизмом логического вывода, экспертными системами дело имел?
продукционные правила создают на основании знаний экспертов. мы хотим автоматизировать с использованием AI процесс подготовки продукционных правил)
скажите, это, на Ваш взгляд, фантастическая задача?
источник

VS

Vitalii Smirnov in Natural Language Processing
Спасибо. Изучаю
источник

AO

Alex Orgish in Natural Language Processing
С моей точки зрения это больше похоже на https://en.wikipedia.org/wiki/Binary_decision_diagram
А это практически NP-полная задача
источник

Д

Датасаенсяш... in Natural Language Processing
Кажется тебе надо реализовать два эмбеддера для заголовка и тела, после чего на них делать классификацию

Например:
https://arxiv.org/abs/1905.01969
источник

Д

Датасаенсяш... in Natural Language Processing
Добрый вечер всем. Стоит такая задача:
Есть обьявления, состоят из заголовка + описание + картинки.
Стоит 3 задачи, определить правильная ли категория, правильный ли заголовок и не продается что-то нелегальное.
Пытался делать так для категорий : title + body + Efficient вытаскивал текст с картинки(что там) , энкодил tf-idf  потом SVC и выходит 85 max % accuracy, но в проде это все падает то 75.
Насчет правильного заголовка я в замещательстве. Как мне дать алгоритму понять чтобы он смотрел что в заголовке например Iphone 5 а в описание Samsung s7 и это не правильно?
Придется делать multiple input для модели?
Подскажите пожалуйста направление, или что гуглить/использовать.
Благодарю.
источник

Д

Датасаенсяш... in Natural Language Processing
В целом кажется что текст из картинки собирать не надо, нужно брать оттуда хидден Стейт и делать классификацию уже на нем
источник

BS

Bogdan Salyp in Natural Language Processing
источник

AW

Alex Wortega in Natural Language Processing
источник

AW

Alex Wortega in Natural Language Processing
Очень адекватный отзыв на эту работу
источник

VI

Vitaly Ivanin in Natural Language Processing
не подскажите какой-нить open-source конструктор ботов для vk с возможность редактирования графовых сценариев диалогов?
источник

МП

Михаил Притугин... in Natural Language Processing
Не знаю, насчет графовых сценариев
Но лучшие библиотеки для VK Ботов - vkwave и vkbottle
источник

VI

Vitaly Ivanin in Natural Language Processing
Михаил Притугин
Не знаю, насчет графовых сценариев
Но лучшие библиотеки для VK Ботов - vkwave и vkbottle
спасибо
источник
2020 October 31

SM

Sasha Marova in Natural Language Processing
Датасаенсяш
Добрый вечер всем. Стоит такая задача:
Есть обьявления, состоят из заголовка + описание + картинки.
Стоит 3 задачи, определить правильная ли категория, правильный ли заголовок и не продается что-то нелегальное.
Пытался делать так для категорий : title + body + Efficient вытаскивал текст с картинки(что там) , энкодил tf-idf  потом SVC и выходит 85 max % accuracy, но в проде это все падает то 75.
Насчет правильного заголовка я в замещательстве. Как мне дать алгоритму понять чтобы он смотрел что в заголовке например Iphone 5 а в описание Samsung s7 и это не правильно?
Придется делать multiple input для модели?
Подскажите пожалуйста направление, или что гуглить/использовать.
Благодарю.
А просто разбить заголовок на слова,выделить именованные сущности айфон,например,и смотреть,есть ли он в тексте просто in , почему так нельзя? А картинка и текст отдельно,а потом результаты совместить,или я задание не понимаю?
источник

Д

Датасаенсяш... in Natural Language Processing
Ну во первых таким образом нам явно придется задавать маппинг сущностей какой-то. Потому что айфон он и iphone, но при этом айфон 10 != айфон 9. Поэтому при наличии датасета я бы попытался решить это мощными языковыми моделями.
источник