NN
Я, конечно, деталей Вашего спарк-приложения не знаю, но локальный спарк очевидно шустрее стартанет, чем развернутый на кластере, там накладных будет меньше гораздо. Тем более, если ещё и данных мало.
Size: a a a
2021 September 15
AZ
Это нормально, Spark про throughput, не про latency
VF
Я использую PySpark, локально он создаёт сессию и подключается как stand-alone, если я правильно понял, то в AWS там тоже сессия, но через YARN и Livy.
Тест провожу в Jupyter
Тест провожу в Jupyter
VF
А с какого примерно размера данных это начинает работать? Я тоже думаю, что у нас данные не такие и большие, поэтому Athena(Presto) хорошо подходят.
Ещё может кто-то знает, для presto есть что-то вроде Spark DataFrame, чтобы sql получился, или нужно руками/sqlalchemy писать?
Ещё может кто-то знает, для presto есть что-то вроде Spark DataFrame, чтобы sql получился, или нужно руками/sqlalchemy писать?
AZ
тут зависит от того из чего вы выбираете, и кого спрашиваете 😊 сколько у вас данных?
AZ
Мне не знакомы хорошие data frame библиотеки с поддержкой Presto как движка, кроме pyspark и koala я знаю только verticapy и нашу, вам они не подойдут
VF
В данном случае, ~1200 файлов, каждый около мегабайта.
Лежат на S3, разбито по датам.
Запрос по сути select * limit 1000;
Лежат на S3, разбито по датам.
Запрос по сути select * limit 1000;
AZ
если вам нужны низкие задержки - загрузите в postgres, если задержки афины устраивают - используйте ее конечно
AZ
если у вас в сто раз больше данных не станет - вам не нужен спарк или EMR
VF
И забыл добавил - данные в parquet, конкретно в этом случае 10 колонок
VF
Хочется что-то вроде Спарк, потому что данные могут быть очень вложенные и схема меняется, Спарк умеет с таким работать, не уверен, как в Postgres такое прикручивают
AZ
попробуйте движки пошустрее которые работают с S3 (databricks photon, firebolt), но я бы все равно в базу грузил, ПГ, кликхаус или что-то такое
AZ
ну или положить в EBS том и с одной машины спарком дергать, будет меньше головной боли
AZ
я не знаю что вы из этих данных делаете, но это десктопный объем, EMR это из пушки по воробъям
K
Всем привет!
Есть тут возможность с кем-то обсудить джоины и их оптимизацию в лс?
- Spark 2.4.4
- Hadoop 2.7
Есть тут возможность с кем-то обсудить джоины и их оптимизацию в лс?
- Spark 2.4.4
- Hadoop 2.7
GP
пиши тут, многим интересно будет
T
Положите в редшифт, зачем вам Спарк?
VF
Редшифт умеет работать с данными без схемы или форматом parquet? Не работал с ним
VF
Ага, понимаю, просто большинство файлов несколько мегабайт, но есть по 500мб плюс, и ещё они такие маленькие, потому что parquet отлично ужимает, в большинстве случаев у нас >50% сжатие получается
T
С паркетом умеет через Спектрум