AT
15 миллисек)
Size: a a a
2019 December 13
s
Про миллисекунды верю
AT
можно и просто по размеру файла, попробуй)
AT
я сам удивился, статьи ведь длинные, а новости в 90% случаев короткие)
s
Да ты посмотри на выхлоп глазами. Там мусора будет валом
s
Всякие там 5 способов ампутации ноги в домашних условиях
AT
до 10 килобайт, у меня только новости в тестовой выборке
s
Дело твоё, дол
AT
ну и как отличить "новость" от "не новости" другим образом? Только по доменам?
s
По тексту же
s
Нейроночки там, то се
h
Да ты посмотри на выхлоп глазами. Там мусора будет валом
опа мусора
AT
хз хз, у меня в 10 кб даже реклама Ким с фотками не помещалась...
h
ну у меня получалось что новости в среднем в 4 или около того раз короче
h
но тем не менее это не способ детекта )
AT
Я думаю для нейросети это и будет основной способ детекта. Ведь даже "ученый опубликовал новую статью" *краткое описание* - это тоже новость... Хотя глубокий анализ текста скорее всего скажет что это научная статья а не новость.
MF
Я что-то не понял, как у Hip Hyena языки определяются за 8.6 сек, а новости - за 5.8 сек? 1. На определение языка забивает? 2. Ошибка в тестировании? 3. Кеширует в файл каждый этап (тогда надо запускать на различных датасетах каждый из этапов)?
h
ору бля
s
Какой смысл делать все треды по одной статье, как у многих? Хоть по совпадению заголовков сгруппируйте, ну уже хоть как-то будет
AT
Я что-то не понял, как у Hip Hyena языки определяются за 8.6 сек, а новости - за 5.8 сек? 1. На определение языка забивает? 2. Ошибка в тестировании? 3. Кеширует в файл каждый этап (тогда надо запускать на различных датасетах каждый из этапов)?
У меня новости определялись за 0.015 сек)))