Для начала в чистую пропарсить

Потом обработку добавить

понятно, спасибо, попробую по частям и засекать время

подскажите ещё такую фишку пожалуйста, у меня Centos 7, на ней родной Perl 5.16 с чем-то, стоит perlbrew и установлен Perl 5.32.1. Когда обращаюсь к скрипту через браузер может быть что модуль не найден, а когда из консоли запускаю, то найден, причем как бы используется реально Perl 5.32.1 и там и там.

Иногда я устанавливаю модуль из yum, потом из cpanm, а Perl все равно не видит, и приходится делать фишки вида - переключаю перл на системный 5.16, используя CPAN устанавливаю модуль, опять включаю в perlbrew 5.32.1 и всё начинает работать норм.

Что это такое, куда копать, и может есть какая-то инструкция, как правильно юзать perlbrew?

Три минуты парсинг и загрузка в бд ?

да, если я не ошибся, то да, просто смотрел утром с другой машины, и не помню точно, а щас не могу перепроверить

Это просто дофигища времени

ну не меньше 3х минут точно было

Чтение и тупой разбор построчно займёт не больше секунды, 240к строк - это вообще ни о чём.
Надо запустить скрипт отдельно скормив ему этот файл и смотреть сколько уйдёт времени на подготовку для загрузки в мускуль. Подозреваю что затык может быть там.

В смысле, сам мускуль может долго переваривать вставку такого большого числа строк

я замерял на глаз, и у меня получилось, что MySQL - самое быстрое место было, секунд 30-40 он занял из тех минут

Ну тогда надо запускать скрипт отдельно и мерять

понял, спасибо

надо инсерты делать большими транзакциями, а не по одному, это заметно ускоряет многие дб

я делаю LOAD DATA LOCAL INFILE, оно ж по идее большими транзакциями делает, или я не так понимаю?

ТС написал же что у него LOAD DATA LOCAL INFILE

тут похоже дело в твоём фцги

неужели на такой задаче даже пусть в древнем FCGI могут быть такие просадки в производительности?

там же не про просадку я отвечал, а про находимость модулей

ааа, сорри, перепутал