AK
Это не для новичков
Size: a a a
2020 August 10
I
попробуем иначе: у меня есть пул соединений в базу, список на 3кк элементов и нужно не вызывая перегрузки скормить второе в первое. Как это правильно сделать?
AK
суешь их в очередь, а воркеры пула из нее вычитывают :)
AK
писанины прилично..
I
если я просто пытаюсь все элементы списка запихнуть в память, у меня прилетает ООМ >__<
I
лан, я понял, я пойду напишу костылик. по крайней мере там я знаю как его делать...
AK
list:pmap (parallel map) давно хотелось бы, чтобы еще с указанием количества потоков
AK
Igor
если я просто пытаюсь все элементы списка запихнуть в память, у меня прилетает ООМ >__<
а элементы толстые? и где они лежат на диске? Если элементы толстые то в очередь надо совать ссылки на них
A
list:pmap (parallel map) давно хотелось бы, чтобы еще с указанием количества потоков
что мешает сделать?
I
вот я щас буду тоже колхозить =) Только у меня основной воркер будет ещё и за количеством процессов следить. Не должно быть супер сложно
AK
что мешает сделать?
надо сделать. Надо не забыть сделать..
ИИ
что мешает сделать?
А разве в rpc подобного нет?
I
parallel_eval ?
I
хотя за количеством одновременных вызовов всё равно самому следить.
I
но доку на этот rpc я ещё не читал. спасибо)
ИИ
Igor
parallel_eval ?
+pmap
I
там нет ограничения на количество вызвов. Если я пытаюсь всё сразу обрабатывать - получается плохо)
ИИ
Igor
там нет ограничения на количество вызвов. Если я пытаюсь всё сразу обрабатывать - получается плохо)
Ну речь была про list pmap. А не про размер пула )