чем читать смотри выше, очереди это докумеyтация laravel

ага, смотрю, спасибо.

там особо ничего нет один класс расширяющий всроенный в php simlexml

но у меня он почему то лежит не через композер, видимо я что-то допиливал

ничего только добавил метод преобразования xml to array

Как-то на одном проекте какое-то время назад я разбивал процесс на 3 составляющие:
1. загрузка файла на диск
2. разбор файла построчно и копирование тексте нод во временную таблицу через xmlsimpleread, кажется
3. разбор из временной таблицы туда, куда нужно.

И все 3 скрипта вешал на крон. Получалось масштабируемо, но приходилось играть с количеством записей за раз, чтобы уложиться в оперативку.

Это геморное решение? Или это норм процесс?

Не уверен насчёт построчного чтения

Ты же не знаешь, какое там внутри форматирование

зависит от xml, у меня были xml с справочниками отелей (10-20 gb) и связи между записями в xml не было, поэтому все загружалось линейно

если нужна разбивка на три процесса и делай три job выполняющихся постепенно
https://laravel.com/docs/7.x/queues#job-chaining

быстро не могу найти исходники те, но там был кусок что-то про XMLReader:BEGIN_ELEMENT, смотришь если он называется как начало блока и копируешь внутренности этого блока. и идешь дальше построчно в поисках следующего начала блока

возьми то что тебе скинули, библиотека так и делает, она читает до указанного тобой блока и делает callback вызов с содержимым этого блока, который может быть небольшой частью xml
—-
у все будут работать не надо в ручную парсить как строки, все пашет, памяти не  жрет

Спасибо.

А вообще, если не переводить эту задачу в очередь (или вообще когда говорим не о такой задаче), то увеличения времени выполнения скрипта до 1часа - это норм решение? Или так лучше не делать?

А зачем, если можно выполнить вне скоупа запроса?

Для генерации сложного отчета пользователю или вроде того.

Отправишь по вебсокетам

это делаетя в очереди, а потом пользователя уведосляют что отчет готов, он же не будет сидеть 1 час и ждать пока ты "разродишься" ответом

Да, так намного лучше с точки зрения пользовательского поведения. Я просто не раз видел системы, у которых сидишь и ждешь, пока оно выполняется.

у меня вопрос, это все еще разговор про xml в 1Gb или мы перешли в другую ветку.
пользователь будет через http передавать xml портянку на 1Gb?