D
спасибо, попробую ради теста всё равно, безысходность же уже)
Size: a a a
2020 August 05
D
мне ещё подсказали, что у меня может быть проблема в том, что редис и пг в контейнерах, и общение по сети докера какое-то не очень под перформанс заточено (подключения по хостнейму=imagename)
n🐈
сколько иовейт на запросе том длинном?)
D
как посмотреть? я только explain analyze умею)
n🐈
top на машинке где запущен докер :)
D
боюсь что не смогу сейчас сказать, там с утра обновление грузится всё ещё..)
D
но вообще "Execution Time: 4225.737 ms", и это не самый худший вариант вышел
D
но в момент загрузки сейчас:
n🐈
выглядит как будто дело не в диске)
D
угу, тоже уже есть мысль обмазать каждую операцию проверкой сколько времени она исполняется
D
вполне может быть там редис деградирует сильно, когда в него миллионы доменов на определенную букву засунули
ИМ
Всем привет! Подскажите пожалуйста для чего и откуда появилась база _temporary_and_external_tables в последнем обновлении кх? Обновил кластер до 20.5.3.27
ИМ
Хотя я ещё словари подключал, может поэтому появилось
AB
Привет, подскажите, как работает max_execution_speed_bytes. Выставил для ETL юзера неадекватно низкое значение 6291456, но запросы продолжают летать на больших выборках
Elapsed: 64.841 sec. Processed 583.75 million rows, 9.23 GB (9.00 million rows/s., 142.38 MB/s.)
Наша цель, сделать так, чтобы ежедневные ночные агрегации проходили гладко. Сейчас замечаем, что в некоторые моменты диск стаёт в полку, система тупит, теряем сессию с зк и в итоге — завалившийся пайплайн.
Как бонус, хочется ограничить io для аналитиков и других пользователей витрин.
Elapsed: 64.841 sec. Processed 583.75 million rows, 9.23 GB (9.00 million rows/s., 142.38 MB/s.)
Наша цель, сделать так, чтобы ежедневные ночные агрегации проходили гладко. Сейчас замечаем, что в некоторые моменты диск стаёт в полку, система тупит, теряем сессию с зк и в итоге — завалившийся пайплайн.
Как бонус, хочется ограничить io для аналитиков и других пользователей витрин.
D
Привет, подскажите, как работает max_execution_speed_bytes. Выставил для ETL юзера неадекватно низкое значение 6291456, но запросы продолжают летать на больших выборках
Elapsed: 64.841 sec. Processed 583.75 million rows, 9.23 GB (9.00 million rows/s., 142.38 MB/s.)
Наша цель, сделать так, чтобы ежедневные ночные агрегации проходили гладко. Сейчас замечаем, что в некоторые моменты диск стаёт в полку, система тупит, теряем сессию с зк и в итоге — завалившийся пайплайн.
Как бонус, хочется ограничить io для аналитиков и других пользователей витрин.
Elapsed: 64.841 sec. Processed 583.75 million rows, 9.23 GB (9.00 million rows/s., 142.38 MB/s.)
Наша цель, сделать так, чтобы ежедневные ночные агрегации проходили гладко. Сейчас замечаем, что в некоторые моменты диск стаёт в полку, система тупит, теряем сессию с зк и в итоге — завалившийся пайплайн.
Как бонус, хочется ограничить io для аналитиков и других пользователей витрин.
AB
Точно не 20+, будем обновляться )
A
Подскажите, как сделать условие, что IP адрес входит в подсеть?
Что-то типа WHERE ipv4 in IPv4CIDRToRange(toIPv4('1.0.0.0'), 12)
Что-то типа WHERE ipv4 in IPv4CIDRToRange(toIPv4('1.0.0.0'), 12)
D
PL
Всем привет.
Как вы проводите миграции? По ответам вижу, что у всех что-то самописное, но может появилась уже версия flyway или liquibase с поддержкой КХ?
вижу пр https://github.com/flyway/flyway/pull/2640, но он не вмержен пока что.
Как вы проводите миграции? По ответам вижу, что у всех что-то самописное, но может появилась уже версия flyway или liquibase с поддержкой КХ?
вижу пр https://github.com/flyway/flyway/pull/2640, но он не вмержен пока что.