N
Посмотрел ещё вот в исходниках. Он там делает aggregate на всех полях . И схлопывается типы
Size: a a a
2019 January 14
N
Типа если нашел что-то и Стрингер, то будет Стринг. Если у двух строк типы одинаковы, то будет этот тип. Если nullType, то тип остаётся. Т.е он все читает. И для каждой колонки у всех строк определяет тип
2019 January 18
N
А что делает parallelize внутри
N
Вот я ему передал коллекцию.он же ленивый . Просто ее сохранит где -то во внутреннем поле. А потом
PK
Он тупо создает инстанс класса ParallelCollectionRDD. А он нарезает коллекцию на куски https://github.com/apache/spark/blob/e3418649dcb50f2a2fb977560d87a94c81516198/core/src/main/scala/org/apache/spark/rdd/ParallelCollectionRDD.scala#L110
2019 January 23
ML
Всем привет!
Подскажите, кто сдавал сертификацию CCA175 в ближайшее время, там были задания на flume? Если были, то в каком формате?
Подскажите, кто сдавал сертификацию CCA175 в ближайшее время, там были задания на flume? Если были, то в каком формате?
AP
В 2017 году не было🙂 Были HDFS, SQOOP и Spark.
S
Интересно, есть ли вообще толк от сертов. Особенно после объединения
r
В штатах любят эти сертифиты, во всяком случае HR на них обращают внимания.
Объединение на CCA/ССP никак не скажется.
Объединение на CCA/ССP никак не скажется.
AP
+ зависит от индустрии, в консалтинге наличие сертификатов помогает поддержанию партнерских статусов и позициям в тендерах, что является плюсом для кандидата при приеме.
PK
В штатах вообще любят ярлыки. Например нанимать phd, что в 80% случаев просто шлак
2019 January 25
S
Тогда уточнение, что котируеься больше, цц или хдп серты? Или однофигственно?
FL
Разница несущественна, но цц немного круче
FL
У цц была серия совсем элитных серитификатов, но потом ее перестали давать
S
Спс
N
Что за цц?
FL
Цлоудера Цертифиед. Иф ай спик фром май харт ин инглиш.
N
Спасибо )
2019 January 30
ДК
Может кто дать совет как скинуть csv с hdfs на удаленном кластере в сетевую директорию доступную мне с локального компа? Я пока знаю как кидать с hdfs на ftp (lftp) или в локальный путь кластера... Хочется самый простой способ, потому что мало прав на кластере... Буду рад любым советам даже пойти... чего почитать)
ЕГ
а сетевая папка на чём крутится? виндовая небось?