Р
тут как-то добавлятьмассово несколько строк надо в секунду
я ж написал: "сгруппировать в запросы по тысяче ПАР" )
Size: a a a
2021 January 08
Д
Просто с js мороки больше будет - он напрямую в файл не сохраняет. node.js не побовал.
у меня задача в mysql 5.5.6 забить
Р
у меня задача в mysql 5.5.6 забить
Тогда из пиждыпи.
Цикл, на 999 999 итераций, просчитывать каждую строку, в массив закидывать 1000 значений, потом объединять массив в строку вида "('n0'), ('n1'), ('n2_2'), ..., ('n999')" (данные строковые, чтобы уже точно, но может и bigint подойдет). id в таблице autoincrement.
И insert с указанием только поля value (id оно само создаст).
Цикл, на 999 999 итераций, просчитывать каждую строку, в массив закидывать 1000 значений, потом объединять массив в строку вида "('n0'), ('n1'), ('n2_2'), ..., ('n999')" (данные строковые, чтобы уже точно, но может и bigint подойдет). id в таблице autoincrement.
И insert с указанием только поля value (id оно само создаст).
Д
Тогда из пиждыпи.
Цикл, на 999 999 итераций, просчитывать каждую строку, в массив закидывать 1000 значений, потом объединять массив в строку вида "('n0'), ('n1'), ('n2_2'), ..., ('n999')" (данные строковые, чтобы уже точно, но может и bigint подойдет). id в таблице autoincrement.
И insert с указанием только поля value (id оно само создаст).
Цикл, на 999 999 итераций, просчитывать каждую строку, в массив закидывать 1000 значений, потом объединять массив в строку вида "('n0'), ('n1'), ('n2_2'), ..., ('n999')" (данные строковые, чтобы уже точно, но может и bigint подойдет). id в таблице autoincrement.
И insert с указанием только поля value (id оно само создаст).
сколько времени приблизительно пройдет прежде чем отработает скрипт?
Р
Лучше 2 вложенных цикла по 1000 - чуть быстрее будет, не будет проверки на кратность тысяче.
Р
сколько времени приблизительно пройдет прежде чем отработает скрипт?
Сама запись займет секунды. Вопрос в том, чтобы оптимально посчитать и подобрать нужный тип данных (если этот столбец индексировать нужно будет).
По просчету данных я и примерно сказать не могу.
я делал факторизацию больших чисел, так оно на определении на простоту 1 миллиона чисел из диапазона 9-значных чисел (от 100 млн. до 1 млрд) тратило около 30 минут. Но это был тупо перебор - проверка на делимость уже известных чисел. А это деление каждого числа на все простые меньше sqrt этого числа.
Можно попробовать изобрести ф-лу n-го члена. Тогда все решится тупо одним-двумя запросами к БД.
По просчету данных я и примерно сказать не могу.
я делал факторизацию больших чисел, так оно на определении на простоту 1 миллиона чисел из диапазона 9-значных чисел (от 100 млн. до 1 млрд) тратило около 30 минут. Но это был тупо перебор - проверка на делимость уже известных чисел. А это деление каждого числа на все простые меньше sqrt этого числа.
Можно попробовать изобрести ф-лу n-го члена. Тогда все решится тупо одним-двумя запросами к БД.
Р
Дольше всего - это посчитать все и потом создать индексы.
IZ
Как быстро заполнить базу в миллион id, если id=1 то value = 7. Значение value для следующих id вычисляется как сумма цифр квадрата из значения value для предыдущего id, увеличенная на 1?
Запросом.
Р
Запросом.
Щютник, аднака. ))
IZ
Пытаюсь понять механику, это из-за взаимоблокировок на мастере? Откинутая блокировка попадает на slave?
Нет
IZ
Щютник, аднака. ))
Ну я не понимать что ему ещё не понятно.
IZ
Как быстро заполнить базу в миллион id, если id=1 то value = 7. Значение value для следующих id вычисляется как сумма цифр квадрата из значения value для предыдущего id, увеличенная на 1?
Дмитрий , попробуй ещё помолиться, чтобы Святой Дух снизошёл на твою БД и заполнил её данными.
Но может не сработать
Но может не сработать
IZ
Пытаюсь понять механику, это из-за взаимоблокировок на мастере? Откинутая блокировка попадает на slave?
Это из-за блокировок на слейве.
IZ
на php 5.5.6 получится?
Нет, точно нет.
Р
Дмитрий , попробуй ещё помолиться, чтобы Святой Дух снизошёл на твою БД и заполнил её данными.
Но может не сработать
Но может не сработать
У человека реально нетривиальная задача.
Р
Нет, точно нет.
Почему нет? Пых считать разучился?
ЕО
Это из-за блокировок на слейве.
спасибо
IZ
У человека реально нетривиальная задача.
К СУБД только никакого отношения не имеет
Р
А как без стороннего инструмента выполнить кучу вставок, если зависимость рекурентная?
А так, то html, верстка никакого отношения к БД и php не имеют. Но без них, как бы те то.
Конечно, быстрее было бы на bash'e это все сотворить, но скорее всего у человека из интрументов только пиждыпи.
А так, то html, верстка никакого отношения к БД и php не имеют. Но без них, как бы те то.
Конечно, быстрее было бы на bash'e это все сотворить, но скорее всего у человека из интрументов только пиждыпи.
Р
Ну, в идеале, как я и писал, сделать ф-лу n-го члена и отдать расчеты субд. Но ф-ла там скорее всего очень загадочная будет.