v
Однхренственно ) надо юзать bulkInsert
Size: a a a
2021 April 07
RG
UpdateOrInsert
v
С чистым DB bulk будет удобнее. Надо избежать конструкций updateOrInsert в пользу агрегации действий: create, update, delete.
v
Тогда и скорость будет выше и работать можно с чанками по 500-1000 элементов.
v
Ну и csv чтение перевести на stream. Например использовать spout
Р
что за bulk? Это?
v
Yes. Это так же и с DB фасадом работает. Множественные вставки одной транзакцией и одним запросом.
Р
+ пойду переписывать все )
A
boarworm (1087.1) увеличил карму slipgrom (618.56)
Р
+
A
Не так быстро. В группе установлено ограничение.
Р
+
A
boarworm (1087.1) увеличил карму LeMaX10 (3597.39)
Р
Переключился в новую ветку методом Тараса 😭
RG
Вова долго печатаешь:) залетай в голосовуху, обкашляем оптимизацию запросов :)))
v
Я тебе давно говорил) отделяй действия. Вставки это одно, обновление другое, удаление третье.
Все можно делать множественными запросами с одной транзакцией, а выборки агрегировать. Операции записи одни из самых дорогих в бд.
А долбить базу updateOrCreate, на два миллиона записей, это примерно 4 миллиона запросов SELECT + UPDATE, SELECT + INSERT
Все можно делать множественными запросами с одной транзакцией, а выборки агрегировать. Операции записи одни из самых дорогих в бд.
А долбить базу updateOrCreate, на два миллиона записей, это примерно 4 миллиона запросов SELECT + UPDATE, SELECT + INSERT
v
На практике их может быть меньше, так как eloquent если изменений в модели нет, то не вызовет update. Но все-таки.
v
Я уже сплю. Неделька была не из простых)
Р
Такс. А как например тут проверять есть ли уже такая запись или нет?
RG
Шучу! У нас тоже изрядная неделя, и ещё не «была», а во всю идёт :(