d
Тысячу жирных юзеров разметили
У нас выборка в миллионы сообщений размечена
У нас выборка в миллионы сообщений размечена
Size: a a a
2021 August 07
FF
Ну тогда парсим личные местоимения, кроме прямой речи, и ищем связанные с ним слова глаголы или прилагательные
d
Юзеров тоже по текстам разметить
d
Эвристиками
GV
Спасибо
N
ну вы как бы забываете вот что
если у вас рандомным образом будет "как дела?" в 80% у мужчин и в 20% у женщин, то о чём это вообще говорит
если у вас рандомным образом будет "как дела?" в 80% у мужчин и в 20% у женщин, то о чём это вообще говорит
N
но ладно, пойду-ка я отсюда
N
ещё раз привет тем ребятам, которые используют класс "не определить"
FF
Это, конечно, вилами по воде, но мне кажется, что сеть примерно этому же обучится, потому что информации, которую можно использовать в этом случае крайне мало
GV
Спасибо всем за ответы.
🐙
Кстати, я тоже поддержу идею с личными местоимениями:
1. Выкачиваем чат, фильтруем цитаты и прочий мусор.
2. Сортируем сообщения по пользователям.
3. Смотрим консистентность употребления "я + глагол прошедшего времени".
4. Присваиваем всем сообщениям класс в зависимости от выбранного порога консистентности.
Простите, что капитаню, но есть шансы, что я тоже такое потом буду искать.
1. Выкачиваем чат, фильтруем цитаты и прочий мусор.
2. Сортируем сообщения по пользователям.
3. Смотрим консистентность употребления "я + глагол прошедшего времени".
4. Присваиваем всем сообщениям класс в зависимости от выбранного порога консистентности.
Простите, что капитаню, но есть шансы, что я тоже такое потом буду искать.
KL
Коллеги, может у кого-то будут идеи.
Извлекаем наименования компаний из текста, который весь в нижнем регистре. Наташей.
Увы, из-за нижнего регистра получается плохая полнота.
Конечно попробовали все поставить в верхний - полнота улучшилась, но поплохела точность –полезло много лишнего.
Есть идеи как это решить?
Пока не пробовал вот что: ставить в верхний регистр только существительные.
Извлекаем наименования компаний из текста, который весь в нижнем регистре. Наташей.
Увы, из-за нижнего регистра получается плохая полнота.
Конечно попробовали все поставить в верхний - полнота улучшилась, но поплохела точность –полезло много лишнего.
Есть идеи как это решить?
Пока не пробовал вот что: ставить в верхний регистр только существительные.
SМ
Взять наташей разметить в верхнем регистре, перевести в нижний и обучить свой нер
KL
Не совсем понял( если все перевести в верхней, много лишнего
SМ
Взять другой сет
SМ
Его разметить наташей
SМ
Например сет Сибура
SМ
Соревнования метчинг имен компаний
SМ
Там было описание + имя