LM
Size: a a a
2020 September 26
BS
я имела в виду вот эту конструкцию, когда у тебя и энкодер, и декодер bert
Мммм блин, при файнтюнинге Берта для генерации надо делать и декодер, и лейбл одинаковыми
Так вот почему у меня не работало обучение
Спасибо большое! Должно сработать лучше simpletransformers, где весь encoder инициализируется с нуля
Так вот почему у меня не работало обучение
Спасибо большое! Должно сработать лучше simpletransformers, где весь encoder инициализируется с нуля
E
Мммм блин, при файнтюнинге Берта для генерации надо делать и декодер, и лейбл одинаковыми
Так вот почему у меня не работало обучение
Спасибо большое! Должно сработать лучше simpletransformers, где весь encoder инициализируется с нуля
Так вот почему у меня не работало обучение
Спасибо большое! Должно сработать лучше simpletransformers, где весь encoder инициализируется с нуля
Расскажите потом, что получилось
2020 September 27
N
А разве не логично, что если язык нигде отдельно не указан, а статья написана на английском, то она об обработке английского?
Понятно, что хорошим тоном было бы указать язык, но в чем, собственно, проблема, если он не указан?
Понятно, что хорошим тоном было бы указать язык, но в чем, собственно, проблема, если он не указан?
хмммм, только выше обсуждали, что роль английского — его доступность всем как лингва франка, почему это должно проецироваться ещё и на объект исследования?
сорри, но нет, не логично. английский — такой же язык, как и тысячи других, он НЕ дефолтный представитель natural language
и да, особенно отстойно это смотрится в статьях, где абстракт или там выводы вообще-то не очень отчётливо подчёркивают тот факт, что всё проверялось на одном-единственном языке
сорри, но нет, не логично. английский — такой же язык, как и тысячи других, он НЕ дефолтный представитель natural language
и да, особенно отстойно это смотрится в статьях, где абстракт или там выводы вообще-то не очень отчётливо подчёркивают тот факт, что всё проверялось на одном-единственном языке
$
Есть какие-нибудь решения для русского языка позволяющие формулировать вопросы на основе текста?
Причем вот таким образом:
Пример:
Человек пошел в пиццерию и заказал пиццу.
Вопросы:
Куда пошел человек?
Кто пошел в пиццерию?
Что заказал человек?
Зачем человек заказал пиццу?
Где человек заказал пиццу?
Причем вот таким образом:
Пример:
Человек пошел в пиццерию и заказал пиццу.
Вопросы:
Куда пошел человек?
Кто пошел в пиццерию?
Что заказал человек?
Зачем человек заказал пиццу?
Где человек заказал пиццу?
$
или если либ нету то как примерно такую самому сделать
$
падежи смотреть?
$
и на их основе вопросы формировать?
DD
или если либ нету то как примерно такую самому сделать
Либ я не знаю, но есть датасет sberquad с абзацами из Википедии и вопросами по ним. Можно на нем обучить seq2seq нейросетку.
$
Либ я не знаю, но есть датасет sberquad с абзацами из Википедии и вопросами по ним. Можно на нем обучить seq2seq нейросетку.
спасибо за наводку
DD
и на их основе вопросы формировать?
А если лень обучать, то можно действительно наделать шаблонов вопросов, и подставлять туда слова, поматченные по синтаксическим ролям. А синтаксический парсер есть, например, в Наташе.
$
А если лень обучать, то можно действительно наделать шаблонов вопросов, и подставлять туда слова, поматченные по синтаксическим ролям. А синтаксический парсер есть, например, в Наташе.
тоже вариант
но шаблонов придется много наверное делать
но шаблонов придется много наверное делать
SP
Либ я не знаю, но есть датасет sberquad с абзацами из Википедии и вопросами по ним. Можно на нем обучить seq2seq нейросетку.
Я так и не нашел рабочую ссылку на этот датасет
DD
Я так и не нашел рабочую ссылку на этот датасет
Вот диппавловская копия http://files.deeppavlov.ai/datasets/sber_squad-v1.1.tar.gz со страницы http://docs.deeppavlov.ai/en/master/features/models/squad.html
2020 September 28
V
Есть какие-нибудь решения для русского языка позволяющие формулировать вопросы на основе текста?
Причем вот таким образом:
Пример:
Человек пошел в пиццерию и заказал пиццу.
Вопросы:
Куда пошел человек?
Кто пошел в пиццерию?
Что заказал человек?
Зачем человек заказал пиццу?
Где человек заказал пиццу?
Причем вот таким образом:
Пример:
Человек пошел в пиццерию и заказал пиццу.
Вопросы:
Куда пошел человек?
Кто пошел в пиццерию?
Что заказал человек?
Зачем человек заказал пиццу?
Где человек заказал пиццу?
Я на гитхабе находил проект с шаблонами вопросов, на англ
H
I always want to know how our keyboard can predict the next word.
So I've tried to make an "Autocomplete System using NLP (Natural Language Processing) and Python.
I've used Flask for making it on the web and NLP (N-grams) concept and a text file dataset from Kaggle to Machine Learning.
Youtube:- https://www.youtube.com/watch?v=aB8PKCp6ftg&ab_channel=HimanshuTripathi
So I've tried to make an "Autocomplete System using NLP (Natural Language Processing) and Python.
I've used Flask for making it on the web and NLP (N-grams) concept and a text file dataset from Kaggle to Machine Learning.
Youtube:- https://www.youtube.com/watch?v=aB8PKCp6ftg&ab_channel=HimanshuTripathi
AE
Коллеги, кажется уже тут нечто подобное спрашивалось, но задам вопрос еще раз. В какую сторону смотреть для решения задачи выделение ключевых навыков человека из резюме. Т.е. на вход у меня есть пачка резюме худо бедно очищеных от всякого рода html мусора, задача такая, нужно научиться выделать основные навыки человека.
YB
Коллеги, кажется уже тут нечто подобное спрашивалось, но задам вопрос еще раз. В какую сторону смотреть для решения задачи выделение ключевых навыков человека из резюме. Т.е. на вход у меня есть пачка резюме худо бедно очищеных от всякого рода html мусора, задача такая, нужно научиться выделать основные навыки человека.
тут несколько задач: поиск нужной секции в документе, NER, классификация найденных элементов по типам.
AE
Т.е. по сути разметка все равно понадобится да?
AE
а почему-то думал как-то свести к задаче кластеризации