В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Natural Language Processing

2020 membersпожаловаться на группу
2020 September 10

VS

Valera Sarapas in Natural Language Processing
Посоветуйте какую метрику лучше выбрать.
Есть задача классификации комментариев. Датасет очень сильно не сбалансирован. Всего 4-ре класса. И распределение по классам примерно 700, 200, 40, 6.
Какую лучше выбрать метрику для оценки качества классификации?
источник
14:02пожаловаться#1

s

sasha in Natural Language Processing
Valera Sarapas
Посоветуйте какую метрику лучше выбрать.
Есть задача классификации комментариев. Датасет очень сильно не сбалансирован. Всего 4-ре класса. И распределение по классам примерно 700, 200, 40, 6.
Какую лучше выбрать метрику для оценки качества классификации?
в датасете всего 946 семплов?
источник
14:14пожаловаться#2

E

Elena in Natural Language Processing
Valera Sarapas
Посоветуйте какую метрику лучше выбрать.
Есть задача классификации комментариев. Датасет очень сильно не сбалансирован. Всего 4-ре класса. И распределение по классам примерно 700, 200, 40, 6.
Какую лучше выбрать метрику для оценки качества классификации?
F-score и смотреть по каждому классу. И лучше сделать оверсемплинг маленьких классов.
источник
14:26пожаловаться#3

VS

Valera Sarapas in Natural Language Processing
sasha
в датасете всего 946 семплов?
Да, датасет маленький
источник
14:27пожаловаться#4

VS

Valera Sarapas in Natural Language Processing
Elena
F-score и смотреть по каждому классу. И лучше сделать оверсемплинг маленьких классов.
Ну взял я F-меру по каждому классу, а дальше. Если после переобучения по одному классу метрика упала,а по другому поднялась?
источник
14:28пожаловаться#5

E

Elena in Natural Language Processing
так видно, какой класс страдает больше всего
источник
14:29пожаловаться#6

E

Elena in Natural Language Processing
и с ним что-то делать
источник
14:29пожаловаться#7

E

Elena in Natural Language Processing
хотя и так понятно
источник
14:29пожаловаться#8

E

Elena in Natural Language Processing
класс с 6 семплами будет всегда плохо определяться, потому что модель не учится
источник
14:30пожаловаться#9

VS

Valera Sarapas in Natural Language Processing
Да, понятно, что можно посмотреть в каком классе есть проблемы.
Но мне нужно принимать решение о выкате новой модели в продакшен. И тут желательно интегральная метрика.
источник
14:31пожаловаться#10

БД

Борис Добров... in Natural Language Processing
Это школярская постановка задачи. Формальное решение, особенно на таком маленьком датасете будет бесполезно, с маленьким качеством на реальном потоке.
Надо решать бизнес задачу, и под неё набирать соответствующим образом коллекцию
источник
14:31пожаловаться#11

E

Elena in Natural Language Processing
Valera Sarapas
Да, понятно, что можно посмотреть в каком классе есть проблемы.
Но мне нужно принимать решение о выкате новой модели в продакшен. И тут желательно интегральная метрика.
средний ф-скор дает представление о двух метриках, реколл и пресижн. а accuracy вообще не нужно тут
источник
14:33пожаловаться#12

VS

Valera Sarapas in Natural Language Processing
Борис Добров
Это школярская постановка задачи. Формальное решение, особенно на таком маленьком датасете будет бесполезно, с маленьким качеством на реальном потоке.
Надо решать бизнес задачу, и под неё набирать соответствующим образом коллекцию
Такой маленький датасет именно из-за того, что это реальный поток комментариев
источник
14:34пожаловаться#13

E

Elena in Natural Language Processing
какая разница, какой поток? классифицировать-то точно надо любой поток
источник
14:34пожаловаться#14

AW

Alex Wortega in Natural Language Processing
У меня есть обученный LSI,  каким образом я могу данные на который обучал разлейблить типа вот один топик, вот другпй? Смотрел репа news-viz , не нашел к них. Есть какие то примеры?
источник
14:35пожаловаться#15

VS

Valera Sarapas in Natural Language Processing
Elena
средний ф-скор дает представление о двух метриках, реколл и пресижн. а accuracy вообще не нужно тут
Я вот думаю о взвешенном пропорционально колличеству выборок в датасете.
источник
14:37пожаловаться#16

E

Elena in Natural Language Processing
ф-скор разный, есть средний, а есть средний взвешенный, как угодно
источник
14:38пожаловаться#17

БД

Борис Добров... in Natural Language Processing
Valera Sarapas
Такой маленький датасет именно из-за того, что это реальный поток комментариев
Это такой уникальный бизнес?
Найдите в дзене или в новостях (яндекс, рамблер) близкое с комментариями.
источник
14:38пожаловаться#18

VS

Valera Sarapas in Natural Language Processing
Ну датасет для обучения я увеличу. Но мерять качество нужно на реальных данных все равно.
источник
14:39пожаловаться#19

БД

Борис Добров... in Natural Language Processing
Комментарии очень разнообразны. Нужна коллекция от 100 тысяч, а лучше миллиоеы
источник
14:39пожаловаться#20