А не проще на питоне скриптик набросать, чтобы он базу наполнял?

Да не, сложно это всё. Думаю проще импортировать по одному столбцу, кое что сделал, один столбец минуты за 4 залетел

При установке любого плагина выдаёт ошибку

Здравствуйте!
После недолгого пользования системой при установке любого плагина выдаёт следущею ошибку

Помогите )
...

Разделы: Помощь, Общее.

==============

Перейти к осбуждению: https://octoclub.ru/d/302-при-установке-любого-плагина-выдаёт-ошибку

Собираешь список цветов которые в текущей пачке по их значениям.
После чего проверяешь есть ли так к цвета в коллекции (предварительно делая агрегированный запрос выборки), если нет, собираешь цвета на импорт - импортируешь по 200 цветов на запрос.

Потом их айди проставляешь продуктам. И так для каждой пачки продуктов.

😳 понятнее не стало

Ты 2 ляма записей на шареде обновляешь каждый месяц в один поток? Что с тобой, друг?

Только планирую пока )
2 года назад загрузил по простому, а сейчас структуру бд полностью переделываю и думаю как обновлять каждый месяц.

А почему надо один раз в месяц сразу все обновлять?

Нельзя это делать каждый день частично? Взять под это дело vps, чтобы ресурсов было побольше и тд

Перепост (может кого-то заинтересует).
Ищем хорошего разработчика, который бы "с нуля" сделал нам великолепный "контентный" сайт на October/Laravel. Требования достаточно типовые: статьи а-ля Medium, продвинутый поиск, категории, теги, все как мы любим. Есть нюансы: во-первых, нужна оптимизация по производительности (5-10 тыс. посетителей в день, PageSpeed >=80), во-вторых есть пара дополнительных "фишек" на фронтенде.
Подробности в ТЗ: https://docs.google.com/document/d/1H-fR7HodsodkBEOyxe5-lTkMW25rZjKlvp9yUCkzdOE

По оплате – договоримся, пишите! 😀

Раз в месяц дают csv табличку с новыми/обновлёнными данными

@LeMaX10 @ReaZzon   и снова здравствуйте )
Подскажите такую штуку по все тому же импорту большого csv.
Нарыл вот такой способ через mysql "LOAD DATA LOCAL INFILE ..."
Проверил на одной колонке из csv, 2 млн залетает за 3-4 минуты.
Проблема в том что не получается как-то обработать значение из csv перед импортом.
Например в csv колонке есть цвет - Черный. Его нужно дополнительно преобразовать в slug. Но при помощи mysql не получается сделать.
Вопрос. Что если загрузить весь csv "как есть" в бд во временную таблицу и потом сделать валидацию, форматирование и разнос данных в другие таблицы бд?

Тебе проще работать делать двойную работу описав скрипты через mysql(ибо по другому я не понимаю зачем импорт во временную таблицу, у тебя ведь проблема не со чтением файла) чем воспользоваться: spout для Парсинга csv в потоке, агрегировать запросы выборки описав логику исключения и импорта множества?)

А не проще создавать новый csv с обработанными данными и после его импортировать?

Те же самые запросы выборки и записи на которых он сейчас и так валится ))

Да не понял я как это сделать )
Если бы хоть пример кода увидеть или почитать где-то

То есть сразу перебирать весь файл и сохранять в копию файла с обработанными данными?

Ага, я не спец, но думаю это будет быстрее работать чем переброс данных с временной таблицы

Будет меньше запросов в бд

Возможно тоже вариант