Size: a a a

2021 April 14

DS

Dmitriy Shamatrin in Modern::Perl
Можно и на первом тензоре, но там целая куча проблем с несовместимыми керасами и с заморозкой графов
источник

МК

Михаил Козачков... in Modern::Perl
Какие-то голословные заявления. Простите.
источник

DS

Dmitriy Shamatrin in Modern::Perl
Ок) Пусть будет так
источник

DS

Dmitriy Shamatrin in Modern::Perl
Любой мало-мальский серьезный проект в сторону NLP сейчас так или иначе работает с трансформерами в виду того, что обучение LSTM не параллелится. Это значит, что важно запускать на чем-то, что может работать быстро. Тот же самый гугол использует свой самодельный фреймворк, который оперирует шустрыми типами и оптимизирован для того чтобы максимально эффективно скармливать тензору входящие данные для обучения. Сам же тензор умеет работать как с GPU, так и с TPU. На процессоре это считать практически нереально (реально, но очень-очень-очень медленно). Начиная со второй версии тензор поддерживает распределенные датасеты(с возможностью делать даже ручное шардирование) и разные стратегии для распределенного обучения. БЕРТ трансформер, даже если взять пре-трейнед на гигаворде, при размере инпута 120 и 5-10 миллионах примеров сжирает только в путь 300+ гиг ОЗУ. Одна эпоха на железяке с 30ю ядрами и 512 гб памяти занимает 55 часов.
источник

DS

Dmitriy Shamatrin in Modern::Perl
Можно, конечно, делать МЛ хоть на брейнфаке, но смысла в этом, увы, нет.
источник

МК

Михаил Козачков... in Modern::Perl
Сначала "Если у проекта нет возможности запускаться на TF2 он обречен на забвение", затем уточнение, что не любой, а "мало-мальский серьезный проект в сторону NLP". Уже хорошо)
источник

DS

Dmitriy Shamatrin in Modern::Perl
Ну камон
источник

DS

Dmitriy Shamatrin in Modern::Perl
Мы говорим про НЛП или про поделки типа хеловоролд?
источник

DS

Dmitriy Shamatrin in Modern::Perl
Никто не будет развивать это добро
источник

DS

Dmitriy Shamatrin in Modern::Perl
В CV и распознавании образов я не сильно понимаю
источник

DS

Dmitriy Shamatrin in Modern::Perl
Но там все в принципе уже понятно
источник

МК

Михаил Козачков... in Modern::Perl
Ну изначально речь была развитие языка и его распространение в мире
источник

МК

Михаил Козачков... in Modern::Perl
А не просто про обучение жестянки)
источник

DS

Dmitriy Shamatrin in Modern::Perl
МЛ/НЛП это неподъемная ниша сейчас, увы, про веб и прочее абсолютно согласен
источник

W

Warstone in Modern::Perl
Э-э-э... А в чем проблема сошку подключить с готовым решением?
источник

DS

Dmitriy Shamatrin in Modern::Perl
Можно) Попробуйте
источник

W

Warstone in Modern::Perl
А есть?
источник

VV

Vladimir Varlamov in Modern::Perl
А по мусору в npm тоже книги есть? Книги это следствие, а не причина. Точно так же как и отсутствие perl в TF2 - это следствие того что perl выкинули из обоймы. Почему? Причин очень много. Каждый может найти среди них субьективно самую важную.
источник

VV

Vladimir Varlamov in Modern::Perl
TensorFlow provides stable Python (for version 3.7 across all platforms)[34] and C APIs;[35] and without API backwards compatibility guarantee: C++, Go, Java,[36] JavaScript[3] and Swift (archived and development has ceased).
источник

W

Warstone in Modern::Perl
Да потому что и Питон надо выкинуть. Пусть XS пилят
источник