К
Size: a a a
2020 August 02
АХ
Всем привет, подскажите решение, есть архив сжатый в zst(1.5 гб), в нем запакован json объемом 10гб, как прочесть такой файл, раскодировать и запихнуть в бд не убив оперативную память ?
Привет, Канат . дело в том, что нельзя прочесть JSON частями , ведь фактически это массив
АХ
Если всё обёрнуто в единый элемент. То как быть тогда?
К
Привет, Канат . дело в том, что нельзя прочесть JSON частями , ведь фактически это массив
ну да, это понятно)
АХ
ну да, это понятно)
это это разные элементы, то можешь попробовать сделать итератор скобок.
АХ
Считай { ++ } —
АХ
Можешь выделить каждый из таких элементов в отдельный. построчно.
К
Считай { ++ } —
мне бы сначала сам json получить из архива безболезненно)
АХ
мне бы сначала сам json получить из архива безболезненно)
Тебе его нужно записать его в базу как есть? или преобразования делать?
К
Тебе его нужно записать его в базу как есть? или преобразования делать?
разделить на ключи и значения
АХ
Есть идея доставать построчно из файла Json и каждую из строк ДОписывать в переменную.
внутри каждой итерации выполнять регулярочку, которая ,будет экстрактить ключи и значения из предыдущей строки.
и пересоздавать переменную, при этом удаляя то , что уже было заэкстрактено
внутри каждой итерации выполнять регулярочку, которая ,будет экстрактить ключи и значения из предыдущей строки.
и пересоздавать переменную, при этом удаляя то , что уже было заэкстрактено
S
Есть идея доставать построчно из файла Json и каждую из строк ДОписывать в переменную.
внутри каждой итерации выполнять регулярочку, которая ,будет экстрактить ключи и значения из предыдущей строки.
и пересоздавать переменную, при этом удаляя то , что уже было заэкстрактено
внутри каждой итерации выполнять регулярочку, которая ,будет экстрактить ключи и значения из предыдущей строки.
и пересоздавать переменную, при этом удаляя то , что уже было заэкстрактено
ты хотя бы сам веришь в то, что пишешь ?
АХ
ты хотя бы сам веришь в то, что пишешь ?
Что тебе опять ненравится?
АХ
Ему JSON надо на ключи и значения разделить я предложил варик
АХ
когда ты построчно достал, выполнил регулярку, получил несколько ключей и значений, далее вырезал из строки то что получил и смог разделить далее внутрь неё же дописал то что получил в след. итерации
АХ
Можно сделать счетчик что и откуда ты получил