Вангую надо было какой-то дефайн добавить

Я прост на работе такОООе на базовой 5.1 пилю, что не всегда 512гб оперативки хватает ))

Хотя на самом деле вру, хватает. В моём случае, такое обычно на парсинг терабайтных файлов может потребоваться, а я шо так шо так чанкую обработку по паре сотен метров.

чё ж ты там делаешь интересно

А зачем обрабатывать весь файл разом?

И кто генерит эти убер файлы?

Ну вот я про то же, чанкование.

Генерит — много кто, например служба судебных приставов ))

Я же не думаю что там убер связи через весь документ внутри файла.

Там обычно огромные списки, которые надо распарсить и загнать в базу.

Его и помегабайтно можно изи читать наверн.

Да, я уже написал пару итераторов по большим файлам.
Один — ищет конкретный текст (замыкающий тег) и дочитывает в буфер пока не найдёт (дальше можно парсить блок и повторять заново), другой — гусеничкой гуляет: смотрит, есть ли в блоке сопоставление регулярке, если нет — отходит немного назад и захватывает новый кусок, снова проверяя нет ли сопоставления. На случай если прочитавшийся кусок с половиной регулярки (тут нет временного буфера, сделано для економии памяти и ускорения парсинга). И кушает оно, в зависимости от размера текста/регулярки максимум метров тридцать, при дефолтных настройках. Но для ускорения можно и по паре сотен гигов хапать.

В целом, обходы больших файлов (особенно когда нельзя зацепиться за символы типа \n) — это весело.

Вот попробовал по твоей ссылке луаджит - вот он действительно нормально память сжирает - всю что есть, а все что сам компилил под 64 бит- еще раз перепроверил - даже 2 Гб не сьедает, 1,5 только и потом падает процесс, видимо надо еще и в исходниках чтото менять но об этом в доках ничего не сказано а в Си шарят далеко не все

Флаги небось очередные 😏

А в сях надо шарить. Без сей никуда.

Ты такой начинаешь шарить в сях — и перед тобой открывается целый мир внутренностей любого скриптового языка. И библиотек.

Я шарю в сях, но без понятия как работают скриптовые языки, точнее у меня есть представление, но очень размытое.

Мб заимплемтить какой-то простой интерпретатор по фану.

Давай по классике, brainfuck ))
Делается за пол часа

брейнфак