Условия такие, что нужно генерить огромную матрицу (~15 GB), наполнять её данными, результат сохранить в вектор. Это надо сделать 100 раз. Проблема multiprocessing в том, что она после итерации не стирает из оперативки использованную матрицу, и при 4 параллельных процессах, уже через две итерации заполняется оперативка и сервер виснет. В форумах, вроде, говорят, что multiprocessing плохо справляется с большими объемами.

Эм, то есть надо параллельно четыре таких матрицы строить? Если бы multiprocessing не стирал предыдущие итерации из памяти, пользоваться им было бы невозможно... Странно, я бы такого не ожидал

В этом городе гей-бар поджигали 4 раза. Правда, основная версия такова, что это из-за того, что он находится в самом центре города и владелец отказывается его продавать местным пизнесменам.
Но есть и другие теории.

Думаю, дело в моем внешнем виде, который считался «стереотипно лесбиянским».

Да у меня и в США похожий случай был вот прям пару месяцев назад. Я села в убер, на меня долго продолжительно посмотрела чёрная тетя, поколупалась в телефоне и включила фоном в машине проповедь как все ЛГБТ сгорят в аду. Но я в Алабаме живу, так что это вроде как даже ожидаемо.

Вот это уже перебор явный. Так нельзя делать.

А я просто говорил, что при приёме на работу надо учитывать не то какой ориентации, цвета кожи и так далее человек. А то какой он специалист.

А меня получается поставили в ряд с этими поджигателями....

Эм, то есть надо параллельно четыре таких матрицы строить? Если бы multiprocessing не стирал предыдущие итерации из памяти, пользоваться им было бы невозможно... Странно, я бы такого не ожидал

Да, я с попкорном наблюдаю как оперативка заполняется на сервере :)

Вот это уже перебор явный. Так нельзя делать.

А я просто говорил, что при приёме на работу надо учитывать не то какой ориентации, цвета кожи и так далее человек. А то какой он специалист.

А меня получается поставили в ряд с этими поджигателями....

Да, зачем сжигать собственность, когда её можно отнять.

Тут несколько дней назад Вика расстраивалась из-за флуда на нерелевантные темы

Прогнозирую, что этот виток закончит свободные деньки в чате

Это точно в ходе итераций растет, а не просто из-за того, что матрицы такие большие?

Как именно в коде это? Pool.map()?

первая итерация завершается ровно после 60 гб (4 процесса по 15) - то есть, подсчёты, вроде бы верны. А потом оперативка не обнуляется...

https://stackoverflow.com/questions/18414020/memory-usage-keep-growing-with-pythons-multiprocessing-pool - вот я о первом ответе говорил

спасибо!

А что если запретить отправлять в чат больше n сообщений в день? С возможностью обойти лимит с позволения модератора.

А что если запретить отправлять в чат больше n сообщений в день? С возможностью обойти лимит с позволения модератора.