Всем привет) Подскажите, существует ли хранилище датасетов по иностранным СМИ как у Razdel (тексты статей, заголовки и т.п.)?

А что за ембединг модель с 420 деменшенами?

Привет. Как вы парсите данные для перевода с сайта opus? Например, для пары английский-русский английский файл весит >150Гб, русский около 40 + файл соответствия предложений из этих двух файлов. Разбил большие файлы на 1000 мелких, потом на баше через awk и grep, но работает медленно (2 миллиона параллельных предложений за 12 часов, хотя работает параллельно в 20 потоков).  Как бы это дело ускорить?
P.S. знаю про opus_read, он просто падает на этих файлах

и про все opus tools тоже?

Видел. Но кроме opus_read ничего подходящего не нашел

-p {raw,xml,parsed}, --preprocess {raw,xml,parsed}
                   Preprocess-type (raw, xml or parsed, default=xml)

и это parsed не помогает?

плюс --leave_non_alignments_out (чтоб выкидывать явно ненужные)

Так и делал, через пару минут просто падает и все

ну и в принципе ж данные их должны быть в huggingface, оттуда их не помогает взять?

Там вроде бы обученные модели, самих данных не видел. Если есть, то это отлично

и мб там дальше ещё

не всё, конечно: https://huggingface.co/datasets?search=opus

Спасибо

Thank you...👍

good luck

А такое же только для scam call detection?

Всем привет!
Если у кого-то из вас есть право высылать приглосы на arXiv в категории cs.CL, можете меня туда эндорснуть?
https://arxiv.org/auth/endorse?x=CI8F7Z