Телеграмм чат группы phpgeeks страница 46370

Size: a a a

phpGeeks

2020 August 02

ну в теории если там N одинаковых элементов, не вложенных то можно изи детектить где начинается объект и где заканчивается

источник

18:35пожаловаться #1

SarcasmIO in phpGeeks

читая строками и писать по одному / либо батч инсертами по N штук

Ну вложенность там большая

источник

18:36пожаловаться #3

SarcasmIO in phpGeeks

ну если ты знаешь где там начинается один элемент и заканчивается другой то пока проблем нет

источник

18:37пожаловаться #4

SarcasmIO in phpGeeks

https://github.com/halaxa/json-machine

GitHub

halaxa/json-machine

Efficient, easy-to-use and fast PHP JSON stream parser - halaxa/json-machine

источник

18:38пожаловаться #5

Lesha Erzikov in phpGeeks

Канат

Пока нет )) хотел открыть через редактор, так комп повис, ну примерная структура известна

В vim открывай

источник

18:38пожаловаться #6

SarcasmIO in phpGeeks

можешь попробовать, сам не юзал, мб там какие-то внутренние оптимизации под это дело есть, но заявлен как

JSON Machine is an efficient drop-in replacement of inefficient iteration of big JSON files

источник

18:38пожаловаться #7

Lesha Erzikov in phpGeeks

Консольный редактор должен потянуть такой объём

источник

18:38пожаловаться #8

SarcasmIO in phpGeeks

лучше посмотреть первые N строк условным head -n / etc
что бы сформировать представление о структуре и дальше процессить

можешь попробовать, сам не юзал, мб там какие-то внутренние оптимизации под это дело есть, но заявлен как

JSON Machine is an efficient drop-in replacement of inefficient iteration of big JSON files

Это получается что сначала надо из архива разархивировать и сохранить в файл json отдельно верно ? У меня уже при разархивации память умрет )

источник

18:40пожаловаться #10

SarcasmIO in phpGeeks

Канат

можешь через стрим из архива

источник

18:42пожаловаться #11

SarcasmIO in phpGeeks

там как раз только операция чтения доступна, как раз что тебе и надо

источник

18:42пожаловаться #12

Канат in phpGeeks

SarcasmIO

можешь через стрим из архива

Стрим через file_get_contents ?

источник

18:43пожаловаться #13

SarcasmIO in phpGeeks

Нет

источник

18:43пожаловаться #14

SarcasmIO in phpGeeks

ZipArchive std getStream гугли

источник

18:44пожаловаться #15

SarcasmIO in phpGeeks

spl сорре

источник

18:44пожаловаться #16

Канат in phpGeeks

SarcasmIO

ZipArchive std getStream гугли

у меня zstd

источник

18:44пожаловаться #17

Канат in phpGeeks

SarcasmIO

Нет

$contents = file_get_contents('compress.zstd:///'.$this->path);

источник

18:44пожаловаться #18

Канат in phpGeeks

и здесь все заканчивается память)

источник

18:45пожаловаться #19

SarcasmIO in phpGeeks

Дык глянь враппер что я дал

источник

18:45пожаловаться #20