А не проще тогда доверить данные редису риаку?

Ну или я не очень понял термин и что за ним стоит

И зачем там транзакционная целостность при обработке

Редис умеет raft?

riak - с его ensemble - тоже неизвестно, кто тестировал.

Потому что они делает так же и реальные вещи, т.е. вызывают скрипты, общаются с внешними системами, делают ssh на другие сервера.

И по сути всему этому нужен распределенный cache, но который бы не позволял двум паралелльным процессам обновить одно и тоже и второму переписать изменения первого.

Помимо этого нужна функциональность, чтобы стартовать ровно один процесс внутри кластера(т.е. чтобы inference юнит был запущен один раз в кластере) - опять же, чтобы не ходить и не выполнять по ssh дважды комманды на других серверах.

И очень круто, что если процесс вдруг умер, то он потом перезапустился стянул данные из базы данных и может продолжить работать.

Я не знаю зачем в данном случае брать spark, скалу и разводить очередной зоопарк.

Т.е. в конечном итоге все сводится к тому, чтобы cache не позволял перезаписывать уже сделанные изменения (делается через check and replace) и к тому, чтобы внутри кластера можно было стартовать необходимый процесс один раз. Вот и вопрос, как это сделать без raft-а?

В целом конечно, так как нам не нужно хранить данные в разных копиях(как в базе данных) - достаточно обойтись leader election (который можно через raft сделать) - и все изменения гонять через выбранного лидера, а если ноуд в кластере упал - поднять нового лидера.

Всем привет!
Открыта вакансия в Торонто на позицию Sr Elixir developer: https://wgames.bamboohr.com/jobs/view.php?id=57
WGAMES Inc. http://wgames.com/ is a leading social and casual games company.
Компания помогает с переездом кандидату и его семье (жене, детям).
Оформляем рабочие визы, оплачиваем перелет, проживание и 100% мед страховку.
По всем уточняющим вопросам обращайтесь ко мне по почте: Natalia@wgames.com или Skype: Natalia.k_hr
Всем отличной пятницы! 😊

а чего два раза одно и то же?

Синхронизация

Подскажите как правильно сделать not in с подзапросом, в экто?

from(
        a in Answered,
        select: {count(a."Номер")},
        where: a.answer_date >= ^date
        and a.deleted != true
        and fragment("md5(Исполнитель) = ?", ^hash)
        and a."ИД Категории" not in ^sub
      )|>Repo.all()

говорит, что

value `#Ecto.Query<from d in Dobrobot.Deffered, where: d.date_change >= ^"2018-11-19 00:00:00" and d.deleted != true and fragment("md5(Исполнитель) = ?", ^"6634F0A9A3C5EB7D97FBA08C1F08A45D"), distinct: true, select: d."ИД Категории">` in `where` cannot be cast to type {:in, :integer}

блин, почему такой простой вопрос ставит всех в тупик?..

Да вы мастер манипулирования

Правильно сделать join

судя по in `where cannot be cast to type {:in, :integer}`предполагаю что в sub не массив, а integer