АЖ
ну это все равно кастомный синк
Size: a a a
2020 June 04
АЖ
так что можно разные варианты попробовать
O
Мы даже в nifi делали легко проверку на количество вставленных строк, в спарке даже проще, самый простой вариант
ЕГ
В постгрес в 200 потоков можно заливать
ЕГ
Только потом проверить надо, что залилось
ЕГ
Зачем с мастера
O
Ну а если воркер отвалится и какой-то батч не вставится?
N
Евгений Глотов
В постгрес в 200 потоков можно заливать
А это не положит его ?
IV
Ну а если воркер отвалится и какой-то батч не вставится?
Так, по идее, запустится другой воркер, который подхватит джобу
IV
Nikolay
А это не положит его ?
Может, но можно ограничить
O
Так, по идее, запустится другой воркер, который подхватит джобу
Ну это идеальный вариант, но в это случае там чувствительные к потере данные
O
У нас pg+haproxy держал 100 коннектов, сколько это потоков с клиента не скажу, но там даже больше 200 думаю и было норм
ЕГ
Ну а если воркер отвалится и какой-то батч не вставится?
Он перезапустится, есть правда риск, что вставит какие-то данные вставятся два раза
ЕГ
Nikolay
А это не положит его ?
Приложит немного, у нас конфлюенс с джирой на том же постгресе работали, во время таких загрузок жутко тормозили)
O
Евгений Глотов
Он перезапустится, есть правда риск, что вставит какие-то данные вставятся два раза
это если транзакция завершится, чего быть не должно
N
Это выглядит подозрительным крайне. Если бы это был оракле и мне сказали , что сейчас в базе 200 активных сессий на машине, где скажем 64 ядра, то я бы сказал , что это не очень хорошо ).
O
В целом если данных мало, то надежнее вставлять с мастера и параллелиться на уровне жвм
ЕГ
это если транзакция завершится, чего быть не должно
Почему не должно? Если батч сайз меньше партиции, то будет завершаться
O
Евгений Глотов
Почему не должно? Если батч сайз меньше партиции, то будет завершаться
я про логику, ситуация что экзекутор зафейлится а данные закомититься критичная в этой ситуации, либо делать проверку на уникальность вставляемых данных, добавляя сложности в код и структуру данных
ЕГ
Лучше тогда партицию сделать меньше, чем батч сайз