FF
А кроме лента ру есть ещё хорошие новости по РФ? Максимально непредызятые и +- без ярко выраженной авторской лексики?
https://github.com/natasha/corus внизу есть датасеты других изданий
Size: a a a
2020 September 25
AE
коллеги, мы все-таки делаем новый запуск нашего курса Natural Language Processing; курс в этот раз будет онлайн, занятия будут по Zoom; вести буду я, все материалы будут на английском, но сами занятия будут на русском; квизы и задания будут на Степике, приглашения на него разошлем всем, кто зарегистрируется в форме; первая лекция будет в 18:30 во вторник, 29 сентября; канал для общения по курсу будет ODS.ai #huawei_nlp_course
форма регистрации: https://forms.gle/EjLbmRjCyH6YEqNx8
форма регистрации: https://forms.gle/EjLbmRjCyH6YEqNx8
Подскажи пожалуйста, а письмо после регистрации стоит ожидать? Или как понять что регистрация прошла успешно?
A
коллеги, мы все-таки делаем новый запуск нашего курса Natural Language Processing; курс в этот раз будет онлайн, занятия будут по Zoom; вести буду я, все материалы будут на английском, но сами занятия будут на русском; квизы и задания будут на Степике, приглашения на него разошлем всем, кто зарегистрируется в форме; первая лекция будет в 18:30 во вторник, 29 сентября; канал для общения по курсу будет ODS.ai #huawei_nlp_course
форма регистрации: https://forms.gle/EjLbmRjCyH6YEqNx8
форма регистрации: https://forms.gle/EjLbmRjCyH6YEqNx8
А записи лекций будут доступны после?
VM
Подскажи пожалуйста, а письмо после регистрации стоит ожидать? Или как понять что регистрация прошла успешно?
подтверждения как такового не предусмотрено, но попробуем добавить на будущее, спасибо
где-то в понедельник разошлем приглашения, если вам не придет, напишите мне
где-то в понедельник разошлем приглашения, если вам не придет, напишите мне
VM
А записи лекций будут доступны после?
будут
AE
Да, хорошо. Спасибо большое заранее!!!
V
DK
уже с 1999 года не студент, но послушал бы с удовольствием лекции по NLP (отправил заявку) 🙂 на Степике есть отличный курс «Введение в Data Science и машинное обучение» от Анатолия Карпова, очень хороший лектор
ML
Ребята, а подскажите в каком направлении двигаться, что бы в куче текста распознавать и до 90% всякие ТОО, ОАО, ООО и т.д., названия могут быть в кавычках
VM
посмотрите библиотеку Natasha
YB
Ребята, а подскажите в каком направлении двигаться, что бы в куче текста распознавать и до 90% всякие ТОО, ОАО, ООО и т.д., названия могут быть в кавычках
скажу кратко: всё плохо. придётся расчехлять нейронку, можно взять готовую spacy-ru или natasha slovnet , и то будет не очень хорошо.
ML
скажу кратко: всё плохо. придётся расчехлять нейронку, можно взять готовую spacy-ru или natasha slovnet , и то будет не очень хорошо.
natasha без обучения под мой формат текста не особо различает что к чему, и это кроме того, что работает в пару раз медленнее slovnet navec
SZ
Подскажите пожалуйста, у меня есть тренировочный датасет для классификации текста. Классов 5. Но датасет получается очень несбалансированным - в одном классе 2000 тыс строк, в другом 1500 а в третьем 400 например. Как обычно поступают в таких ситуациях? Не урезать же все до самого маленького?
T
гайс, привет
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
SZ
гайс, привет
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
pymorphy2
YB
гайс, привет
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
подскажите, пожалуйста, тулзу, которая может склонять слово (на русском) в указанный падеж
спасибо
более конкретно, гугли pymorph2 inflect
DK
Подскажите пожалуйста, у меня есть тренировочный датасет для классификации текста. Классов 5. Но датасет получается очень несбалансированным - в одном классе 2000 тыс строк, в другом 1500 а в третьем 400 например. Как обычно поступают в таких ситуациях? Не урезать же все до самого маленького?
можно посчитать веса классов
class_weight и добавить этот параметр при обученииmodel.fit(X_train, Y_train, nb_epoch=5, batch_size=32, class_weight=class_weight)YB
Подскажите пожалуйста, у меня есть тренировочный датасет для классификации текста. Классов 5. Но датасет получается очень несбалансированным - в одном классе 2000 тыс строк, в другом 1500 а в третьем 400 например. Как обычно поступают в таких ситуациях? Не урезать же все до самого маленького?
апсемплинг или даунсэмплинг, как хотите
T
Спасибо 🙃