K
Если я правильно понимаю, то это сработает только с xls, т.к. там формат XML'подобный. А потом, следовательно, конвертировать в xlsx. Так?
Size: a a a
2021 March 15
MG
Если я правильно понимаю, то это сработает только с xls, т.к. там формат XML'подобный. А потом, следовательно, конвертировать в xlsx. Так?
да как то так... вообще чоб тебе сразу csv не отдавать? но помню там был упрощенный формат для экселя в виде не сложноного xml
DM
Простите, вопрос не совсем по теме фреймворка.
Какой самый быстрый вариант конвертации данных из бд (Массива или коллекции) в XLSX?
Я работал с PhpSpreadsheet. Он прожорливый и крайне медленный.
Работал с конвертацией данных предварительно в csv, а потом в конвертацию csv -> xlsx через отдельный сервис с поднятым serverless libreOffice. Было намного лучше, Но всё равно с большим объёмом данных было тяжеловато.
Какие варианты ещё могут быть? Куда смотреть?
Допустим нужно сделать эксельку в миллион строк (предел эксельки). Как это рекомендуется делать? Очереди, к сожалению, под запретом. Ответ должен приходить в рантайме.
Что-то подсказывает мне, что надо избежать прослойки в виде пхп и вставить более эффективную прослойку. На перле, вроде, быстрее работало раньше это. Но это было давно и неправда.
Какой самый быстрый вариант конвертации данных из бд (Массива или коллекции) в XLSX?
Я работал с PhpSpreadsheet. Он прожорливый и крайне медленный.
Работал с конвертацией данных предварительно в csv, а потом в конвертацию csv -> xlsx через отдельный сервис с поднятым serverless libreOffice. Было намного лучше, Но всё равно с большим объёмом данных было тяжеловато.
Какие варианты ещё могут быть? Куда смотреть?
Допустим нужно сделать эксельку в миллион строк (предел эксельки). Как это рекомендуется делать? Очереди, к сожалению, под запретом. Ответ должен приходить в рантайме.
Что-то подсказывает мне, что надо избежать прослойки в виде пхп и вставить более эффективную прослойку. На перле, вроде, быстрее работало раньше это. Но это было давно и неправда.
https://github.com/box/spout
Когда-то Валентин упоминал эту либу как менее ресурсожрущую
Когда-то Валентин упоминал эту либу как менее ресурсожрущую
K
да как то так... вообще чоб тебе сразу csv не отдавать? но помню там был упрощенный формат для экселя в виде не сложноного xml
Я бы двумя руками за CSV, но клиентам не особо нравится разделители использовать. И почему-то это стало блокирующим фактором для этого решения.
MG
SPOUT да, работает на временных файлах и максимум 3mb жрет
угуг похоже на то я кажется использовал http://faisalman.github.io/simple-excel-php/ но это было много веков назад
K
Благодарю, сейчас бенчмарки сделаю и все варианты буду тестировать, потом скину сюда.
K
Ну, миллион это критическое, конечно, значение (лимит просто экселя). В целом будет среднее значение, насколько я помню, около 200-400 тысяч.
MG
на перле был скрипт
нуда лучше притащить перл чем очереди
MG
ну собственно если без очередей
твоя задача максимально упростить генерацию
что бы быстренький запрос в бд
быстро гидрировался в массивчик и шаблонизировался в xml
с надеждой что это вся муть уложиться в таймаут
твоя задача максимально упростить генерацию
что бы быстренький запрос в бд
быстро гидрировался в массивчик и шаблонизировался в xml
с надеждой что это вся муть уложиться в таймаут
D
хз, думаю лучше будет поднять там k8s под это дело, чтобы масштабировалося
JK
ну собственно если без очередей
твоя задача максимально упростить генерацию
что бы быстренький запрос в бд
быстро гидрировался в массивчик и шаблонизировался в xml
с надеждой что это вся муть уложиться в таймаут
твоя задача максимально упростить генерацию
что бы быстренький запрос в бд
быстро гидрировался в массивчик и шаблонизировался в xml
с надеждой что это вся муть уложиться в таймаут
Можно потоком отдавать.
И собственно генерить потоком.
Читаем БД пачками, сериализуем пачку и выплёвываем в StreamedResponse
Так и timeout не наступит, и память можно после пачки чистить. В итоге хоть гигабайтами плевать можно.
Конкретную реализацию не подскажу, долго код искать, на старом проекте так генерил большие CSV.
И собственно генерить потоком.
Читаем БД пачками, сериализуем пачку и выплёвываем в StreamedResponse
Так и timeout не наступит, и память можно после пачки чистить. В итоге хоть гигабайтами плевать можно.
Конкретную реализацию не подскажу, долго код искать, на старом проекте так генерил большие CSV.