ПП
я в целом понял примерно
Size: a a a
2020 December 07
ПП
спасибо большое ребят
IM
Привет. Александр Кукушкин в своей лекции говорил, что NY Times использовал Conditional random field (CRF) для обучения модели NER с уже размеченными текстами. Есть ли подобное открытое решение для текстов на русском языке? / Или не CRF а что-то ещё
AK
Привет. Александр Кукушкин в своей лекции говорил, что NY Times использовал Conditional random field (CRF) для обучения модели NER с уже размеченными текстами. Есть ли подобное открытое решение для текстов на русском языке? / Или не CRF а что-то ещё
Именно решение для рецептов?
IM
Именно решение для рецептов?
Нет, скорее, вообще. У меня задача парсинга части адреса "дом, кв, этаж, подвал, помещение" и т.п. И есть куча размеченных примеров типа строка адреса -> массив [тег:значение]. Я хочу скормить это какой-нибудь модели, чтобы она сама размечала. (сейчас пока понятно, что можно сделать на Yargy, но хочется попробовать ещё и ML)
А
Для адресов есть готовые промышленные решения, правда не знаю, есть ли там русские локации
IM
@HelloKitty2002 там помимо того, что оно на русском, есть ещё специфичные случаи типа "ПОДВАЛ ЭТ1ПI-К1,1А,С2-11,ПIV-К1А,1Б,1В,1Г,2-5,7". Но при этом оно уже размечено. Ну и да, нужно что-то открытое.
YK
Всем привет, подскажите, пожалуйста, какие есть хорошие датасеты содержащие поэмы разных эпох?
AK
Нет, скорее, вообще. У меня задача парсинга части адреса "дом, кв, этаж, подвал, помещение" и т.п. И есть куча размеченных примеров типа строка адреса -> массив [тег:значение]. Я хочу скормить это какой-нибудь модели, чтобы она сама размечала. (сейчас пока понятно, что можно сделать на Yargy, но хочется попробовать ещё и ML)
AW
Коллеги, а кто то подходил к тексту как картинке? Идея такая: а что если прлпробовать сделать пространство признаков текста таким чтобы можно было вытаскивать авторский "подчерк", те когда пишет тот или иной автор.
AS
пробовал SVM результаты не очень
AS
какой-то косинус возможно тоже, с тем же результатом
I
Коллеги, а кто то подходил к тексту как картинке? Идея такая: а что если прлпробовать сделать пространство признаков текста таким чтобы можно было вытаскивать авторский "подчерк", те когда пишет тот или иной автор.
Есть ряд работ по этой теме. Вот, например, для иллюстрации:
1. Стэнфорд. Рекурентные сети над словами (предложениями), потом слои нейронов.
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports/2760185.pdf
2. Челябинск. Текст представляется в виде нграм, для которых внутри модели строятся вектора. Вектора идут на вход рекурентам или сверткам. Далее тоже слои нейронов:
http://www.dialog-21.ru/media/4545/dmitrinyvplusetal.pdf
1. Стэнфорд. Рекурентные сети над словами (предложениями), потом слои нейронов.
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports/2760185.pdf
2. Челябинск. Текст представляется в виде нграм, для которых внутри модели строятся вектора. Вектора идут на вход рекурентам или сверткам. Далее тоже слои нейронов:
http://www.dialog-21.ru/media/4545/dmitrinyvplusetal.pdf
2020 December 08
TM
Всем привет. Есть у кого-то опыт работы с MS Botframework? Есть вопрос к прикручиванию аутентификации OAuth к уже написанному боту.
HS
Anyone who is having the text mining resources
IM
А нельзя для этих целей использовать Slovnet? Т.е. научить его вытаскивать свои теги, или это что-то жёстко предобученное?
AK
А нельзя для этих целей использовать Slovnet? Т.е. научить его вытаскивать свои теги, или это что-то жёстко предобученное?
Можно, но:
1. там нет инструкции как обучать на своих данных, нужно разбираться в ноутбуках и немного во внутренностях
2. кажется, это стрельба из пушки по воробьям, для разбора адреса не нужно понимание языка
1. там нет инструкции как обучать на своих данных, нужно разбираться в ноутбуках и немного во внутренностях
2. кажется, это стрельба из пушки по воробьям, для разбора адреса не нужно понимание языка
IM
Можно, но:
1. там нет инструкции как обучать на своих данных, нужно разбираться в ноутбуках и немного во внутренностях
2. кажется, это стрельба из пушки по воробьям, для разбора адреса не нужно понимание языка
1. там нет инструкции как обучать на своих данных, нужно разбираться в ноутбуках и немного во внутренностях
2. кажется, это стрельба из пушки по воробьям, для разбора адреса не нужно понимание языка
спасибо)