S
а внешние датасеты?
Size: a a a
2019 December 13
S
ну и по технолгиям, по традиции, интересно узнать
h
А толку? Саенс на инглише - 10 статей, из которых одна - объявление о продаже домов
развалил в пух и прах
IG
А толку? Саенс на инглише - 10 статей, из которых одна - объявление о продаже домов
английский мы вообще в самом конце по остаточному прицнипу делали. Что по-даунски, согласен
IG
а внешние датасеты?
Для ru переделанная Лента, для en BBC и News category
h
а то что на новостных сайтах могут быть не только новости то
h
это не смущало?
m
а то что на новостных сайтах могут быть не только новости то
Цыц
VK
Там про хохлов тредов 10, а ещё про путина-скороварку
У меня все говно про путина скороварку ушло в категорию other из сосаети.
IG
а то что на новостных сайтах могут быть не только новости то
так я руками категории маппил
IG
а остальное должна была разметка порешать
s
На Ленте куча всяких гороскопов и прочего треша
IG
На Ленте куча всяких гороскопов и прочего треша
И едва ли оно в категории "Политика/Оружие"
s
Это да
s
Но и там вроде всякие обзоры и мнения часто бывают. Смотри сам
s
Бедный Путин, как же так?
VK
На Ленте куча всяких гороскопов и прочего треша
ну я в последний день натренил other - и все говно начало туда уходить) Возможно перестарался где то слегка, хз. Но треша - который сложно назвать новостями реально оч много.
IG
ну и по технолгиям, по традиции, интересно узнать
fasttext во все поля. Определние языка вообще коробочное: https://fasttext.cc/docs/en/language-identification.html (с фиксом таджикского или какого-то такого). Предобученные эмбеды на первых 2 архивах и внешних датасетах. Классификаторы новость/не новость их же, с их же квантизацией из коробки. Кластеризация на эмбедах, доученных на похожесть на половинках текстов. Топы: время + размер кластера + PageRank
S
Огонь
s
А как ты пагеранк прикрутил, там же ссылки нужны