AZ
Евгений, мы с вами на одной страничке
Size: a a a
2020 January 28
2020 January 29
AK
Ну это бан
AS
Согласен, бустинги на деревьях и в целом недоразвитые ансамбли, проблема многих библиотек, а на типизированном языке их делать-вообще мучение
xgboost и компании написаны на С++, достаточно типизированный язык
IK
Всем привет. Был ли у кого опыт запуска спарка в docker контейнерах в EMR? хочется запустить кластер в режиме step execution и засабмитить прилоежение в контейнере. Исходя из документации это возможно, если завернуть все окружение и зависимости в докер и указать
--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE=docker. Но jar/py для spark-submit все равно должен быть на s3 или на мастере. Возникает вопрос можно ли в контейнер поместить целиком все приложение?
r
2020 January 30
РП
Коллеги, тупой вопрос возможно)
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
RI
Коллеги, тупой вопрос возможно)
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
Самый верный вариант посмотреть план запроса df.explain()
PK
Коллеги, тупой вопрос возможно)
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
Есть таблица заголовков (300млн) и таблица позиций (2+ млрд строк).
При джойне этих таблиц по ключу и потом отборе по дате. (where ddate >= ''). Если запихать это в SQLContext Spark'a. То он сначала все поджойнит и потом выберет по дате. Или сначала таки заголовки по дате отберет, и потом джойн?
Зависит от формата, из которого делается чтение. Если норм формат, то Каталист сделает predicate pushdown
РП
Зависит от формата, из которого делается чтение. Если норм формат, то Каталист сделает predicate pushdown
Формат таблиц ORC, но вот партицирования нет.
PK
Формат таблиц ORC, но вот партицирования нет.
Пофиг, он же колоночный. Глянь Optimized logical plan, который в df.explain(True)
РП
Да, будем сегодня пробовать и план глянем. Hive вчера вечером барахлил, и при попытке такого джойна просто умирал. Сегодня решили попробовать сделать тоже самое, но через Спарк.
АП
rubonz
Всем привет
может у кого есть боевой опыт работы co https://www.snowflake.com/?
может у кого есть боевой опыт работы co https://www.snowflake.com/?
Ща внедряю
2020 January 31
IK
никто не знает когда там релиз spark 3.0 намечается? Вроде обещали early 2020
PK
никто не знает когда там релиз spark 3.0 намечается? Вроде обещали early 2020
E
никто не знает когда там релиз spark 3.0 намечается? Вроде обещали early 2020
Уже второй релиз версии preview готовится.
E
Preview версии один уже доступен.
E
Но их не устроили результаты.
E
Говорят, получилось так себе.
E
Есть куча проблем по совместимости с хайвом новым, например.
E
Сейчас Юм Вонг будет готовить второй. Но сроки не обозначил.))