АВ
mysql умеет из csv файла лить данные в таблицу
мне с csv не нужно, напрямую с очередей работаю
Size: a a a
2020 March 14
A
надо читать.
A
а зачем тебе многопоточность?
АВ
а зачем тебе многопоточность?
Парсинг больших объемов данных, в один поток очень долго добавляются записи
АВ
а зачем тебе многопоточность?
Просто много операций вставки, обновления, проверок и очень нужно ускорить процесс
YV
Просто много операций вставки, обновления, проверок и очень нужно ускорить процесс
Делай минимум batch вставку за раз. Если хочется прямо ускорить в разы, то многопоточностью делай prepare данных через append в csv и за раз заливай. Быстрее чем load data infile мускуль тебе не вставит много данных
YV
Ну а если все равно хочется из очередей в несколько потоков писать, то быстрее не будет, но дальше читай про локи, коннекты и лимиты
A
и что заданные такие?
АВ
и что заданные такие?
Каталоги запчастей
A
статистика чтоли? если да, но лучше взять чтото другое вместе мускула
A
и что их там прям триллионы?
АВ
Делай минимум batch вставку за раз. Если хочется прямо ускорить в разы, то многопоточностью делай prepare данных через append в csv и за раз заливай. Быстрее чем load data infile мускуль тебе не вставит много данных
спасибо, гляну
АВ
и что их там прям триллионы?
не триллионы, но будет больше 1 млн., сутками ждать не хочется))
A
миллионы это копейки
A
как всегда, оптимизация заранее...
АВ
как всегда, оптимизация заранее...
не заранее, уже сейчас 8тыс. что-то долго добавляются\
YV
Делай батч чанками.
A
оно и не должно за секунду добавлять. если updateOrCreate
YV
Размер Чанка бери исходя из «чтобы по памяти не упал»
YV
Ну и eloquent выкинь, если хочешь быстрее