В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1078 membersпожаловаться на группу
2021 April 30

ДМ

Даниил Московский... in Moscow Spark
Верно, но и бустинги можно оптимизировать все-таки. Кажется по соотношению скорость работы на стоимость требуемых железок бустинг все еще впереди)
источник
11:19пожаловаться#1

ЕГ

Евгений Глотов... in Moscow Spark
Это если оперативы совсем не хватило)
А если вот прям чуть-чуть осталось, спарк пытается всеми силами освободить, надрывается и жрёт проц, сессия перестаёт отвечать при этом, потом когда оператива становится свободной, сессия так и висит зомбяком)
источник
11:20пожаловаться#2

ЕГ

Евгений Глотов... in Moscow Spark
Но тут хз кто косякнул
источник
11:20пожаловаться#3

ЕГ

Евгений Глотов... in Moscow Spark
Может это какой-то из алгоритмов GC кривой
источник
11:20пожаловаться#4

ЕГ

Евгений Глотов... in Moscow Spark
Несколько раз за 4 года сталкивался с такими зомби сессиями, не прям критично, но непонятно)
источник
11:21пожаловаться#5

DB

Dmitry Bugaychenko in Moscow Spark
У нас в свое время был простой принцип:
1. Все пром процессы на мониторинге с ожидаемым временем завершения (не завершился - семафор)
2. Все интерактивные сессии (зепелину, шеллы, юпитеры) ночью автоматом убиваются
3. Если тебе нужно что-то оставить считаться в ночь - исключаешь свою сессию из киллера, но тогда если она создаст проблемы к тебе придут.

Зомбаков всех своевременно отсреливали
источник
11:25пожаловаться#6
2021 May 04

DZ

Dmitry Zaytsev in Moscow Spark
Дим , а кто такие эти зомбаки)
источник
08:11пожаловаться#7

DS

Dmitry Sosna in Moscow Spark
Процессы выпавшие из цепочки, могут породить новые такие же. Завершаются, либо сами, либо если их пристрелить...
источник
10:10пожаловаться#8

C

Combot in Moscow Spark
Марина Карасёва has been banned! Reason: CAS ban.
источник
13:09пожаловаться#9

PK

Pavel Klemenkov in Moscow Spark
Всем привет. Я тут, внезапно, обнаружил, что оптимизации типа predicate pushdown работают даже для строчных форматов типа csv и json. Это давно так?
источник
16:43пожаловаться#10

ПФ

Паша Финкельштейн... in Moscow Spark
КАК
источник
16:55пожаловаться#11

ПФ

Паша Финкельштейн... in Moscow Spark
В смысле как это в принципе возможно?
источник
16:55пожаловаться#12

t

tenKe in Moscow Spark
не совсем верно. Predicate pushdown работает на всем FileFormat
источник
16:57пожаловаться#13

t

tenKe in Moscow Spark
но он там номинально присутствует для csv и json
источник
16:57пожаловаться#14

ПФ

Паша Финкельштейн... in Moscow Spark
А, ну то есть predicate() = false?
источник
16:57пожаловаться#15

t

tenKe in Moscow Spark
нет
источник
16:57пожаловаться#16

t

tenKe in Moscow Spark
Если посмотреть физический план запроса с csv, где есть срез - там будет predicate pushdown. Но наличие PredicatePushdown в чтении источника еще не означает, что он используется
источник
17:00пожаловаться#17

t

tenKe in Moscow Spark
Именно поэтому даже когда идет predicate pushdown, сам физический оператор фильтра никуда не девается
источник
17:00пожаловаться#18

t

tenKe in Moscow Spark
Иными словами, когда есть predicate pushdown, то фактически фильтрация будет делаться два раза - внутри источника и спарком при применении оператора Filter
источник
17:01пожаловаться#19

ПФ

Паша Финкельштейн... in Moscow Spark
Вот, но что такое фильтрация внутри csv?
источник
17:02пожаловаться#20