RI
Такой команды нет
А как давно нет?
${SPARK_HOME}/bin рядом с сабмитом и шеллом, проверил у себя на 2.3.1 и свежескаченной 2.4.6Size: a a a
2020 August 29
PK
Что странно, потому что она лежит в
Прошу прощения, просто никогда не сталкивался с ней. Думал, что это от шарка осталось в древних версиях.
PK
exec "${SPARK_HOME}"/bin/spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"
PK
Забавно
AA
Ребят привет, подскажите. Хочется для одной части пайплайн сохранить воспроизводимость. А именно проводить одинаковую кластеризацию для каждого запуска на кластере, естественно фиксация сида для pyspark.ml.clustering.KMeans не помогла, репартишн перед кластеризацией, тоже не спасает ситуацию. Как-то можно законно это сделать? Хочется хотя бы для одного и того же кластера обеспечить стабильность.
BG
Anton Alekseev
Ребят привет, подскажите. Хочется для одной части пайплайн сохранить воспроизводимость. А именно проводить одинаковую кластеризацию для каждого запуска на кластере, естественно фиксация сида для pyspark.ml.clustering.KMeans не помогла, репартишн перед кластеризацией, тоже не спасает ситуацию. Как-то можно законно это сделать? Хочется хотя бы для одного и того же кластера обеспечить стабильность.
С initSteps игрался?
AA
С initSteps игрался?
нет, щас попробую, спасибо за идею.
AA
хотя судя по доке он по дефолту 2
AA
то есть не должен аффектить
BG
Поставь 20
AA
Поставь 20
Магическое число, как 42 для DS?:) Окей, тестирую.
AT
Привет! Скажите пожалуйста а вызывать spark submit с query нельзя? Надо обязательно писать jar?
Можно сделать spark- shell -i filename.scala там сразу без инициализации контекста/ сессии пишешь бизнес логику
ПБ
Можно сделать spark- shell -i filename.scala там сразу без инициализации контекста/ сессии пишешь бизнес логику
Спасибо! Попробую 👍
2020 August 30
ПФ
@pklemenkov ты работу не искал? Или может @pomadchin
PK
@pklemenkov ты работу не искал? Или может @pomadchin
Че там, спаммеры в теслу предлагают? ))
ПФ
Че там, спаммеры в теслу предлагают? ))
Не, в этот раз подработка по пять или даже десять баксов!
PK
Не, в этот раз подработка по пять или даже десять баксов!
ПФ
А ты же можешь посмотреть историю удаления сообщений ))
PK
А ты же можешь посмотреть историю удаления сообщений ))
Да? Круто! Пойду погляжу, а то вдруг Гриша всю классную работу себе забрал )
2020 August 31
GP
за рулем был, но ничего себе