NN
Этого достаточно )
Приятно, когда есть темы, в которых ты достаточно прошарен)
Size: a a a
2020 June 02
GP
Евгений Глотов
Мы со своим пакетом)
Бич пакетом?
ЕГ
Не, я имею в виду ноду с оперативой)
PK
Ваще канеш ржака была, когда в кейноуте на Спарк саммите создатель scikit-learn показал результаты опросов дата сатанистов, типа с каким размером датасетов вы работаете. И там уверенная такая медиана где в 10гб была
PK
Нахер этот Спарк, спрашивается? )
GP
Ваще канеш ржака была, когда в кейноуте на Спарк саммите создатель scikit-learn показал результаты опросов дата сатанистов, типа с каким размером датасетов вы работаете. И там уверенная такая медиана где в 10гб была
это кстати самый большой пойнт
NN
Ваще канеш ржака была, когда в кейноуте на Спарк саммите создатель scikit-learn показал результаты опросов дата сатанистов, типа с каким размером датасетов вы работаете. И там уверенная такая медиана где в 10гб была
Так чтоб им этот датасет в 10 Гб собрать, подчас надо несколько теров перелопатить со всякой экзотической логикой) это, мб, больше про ненужность мллиб, хотя я тут не в теме.
ЕГ
Ваще канеш ржака была, когда в кейноуте на Спарк саммите создатель scikit-learn показал результаты опросов дата сатанистов, типа с каким размером датасетов вы работаете. И там уверенная такая медиана где в 10гб была
Не знаю, кого они спрашивали, у нас саентисты достаточно часто поднимают с360 за три года, по 20 гигов орка в день)
PK
Так чтоб им этот датасет в 10 Гб собрать, подчас надо несколько теров перелопатить со всякой экзотической логикой) это, мб, больше про ненужность мллиб, хотя я тут не в теме.
Дата инженеры достаточно круты, чтоб херачить чистый мапредьюс. На баше )
PK
Евгений Глотов
Не знаю, кого они спрашивали, у нас саентисты достаточно часто поднимают с360 за три года, по 20 гигов орка в день)
Поднимать-то поднимают, а работают-то они с чем?)
NN
Дата инженеры достаточно круты, чтоб херачить чистый мапредьюс. На баше )
Да я вам на бейсике такие пайплайны нарисую!
ЕГ
Поднимать-то поднимают, а работают-то они с чем?)
Да не, они у нас не работают, только 300к/сек получают
ЕГ
PK
Да я вам на бейсике такие пайплайны нарисую!
Вот это разговор. А то жжете киловатты и килобаксы в облаках, а сатанисту одной тачки хватает. Да и одного ядра в случае пандаса
T
Милион в час стоят
да брось на спот инстансах достаточно дешово выходит
NN
Вот это разговор. А то жжете киловатты и килобаксы в облаках, а сатанисту одной тачки хватает. Да и одного ядра в случае пандаса
Ну все, ща в сайнтисты пойду, ядро шатать.
T
мы регулярно на r5.24 гоняем
AS
20 это не запредельно, не 128 же :)
PK
да брось на спот инстансах достаточно дешово выходит
Спарк в спот инстансах? Это только для сильных!