MS
Size: a a a
2020 June 04
AS
Alone Wolf
Там под линукс и мак тоже есть но непробовал их
На линуксе сработало
AW
На линуксе сработало
👍
MS
Заварю ка я дошика
TC
Всем привет, ребзя
TC
давайте ка подумаем, как можно многопоточно, построчно обработать файл средствами лары, с минимальными затратами по железу..
TC
файл гдето в 200к строк
TC
Я вижу это так:
1. узнаем сколько строк в файле и запускаем в очередь по, например 10к на процесс, осталось решить 2 задачи:
1. оптимально узнать колво строк в файле
2. перемещение по файлу как через fseek но построчно...
1. узнаем сколько строк в файле и запускаем в очередь по, например 10к на процесс, осталось решить 2 задачи:
1. оптимально узнать колво строк в файле
2. перемещение по файлу как через fseek но построчно...
YK
Файл какой?
СК
Я вижу это так:
1. узнаем сколько строк в файле и запускаем в очередь по, например 10к на процесс, осталось решить 2 задачи:
1. оптимально узнать колво строк в файле
2. перемещение по файлу как через fseek но построчно...
1. узнаем сколько строк в файле и запускаем в очередь по, например 10к на процесс, осталось решить 2 задачи:
1. оптимально узнать колво строк в файле
2. перемещение по файлу как через fseek но построчно...
Я бы сделал только ограничение на потолок параллельных процессов, например, 10. Сделал основной обработчик-распределитель (дёргает из файла определённый буфер данных и отправляет обработчику-парсеру). Сделал обработчик-парсер (обрабатывает переданный ему буфер данных). Распределитель создаёт количество обработчиков до указанного потолка, пока это требуется и по-порядку пихает им буферы
YK
Exel? Csv?
TC
великие умы стака прделагают узать SplFileObject для перемещения по строкам
TC
Exel? Csv?
логи)
СК
Другой вопрос: буфер не факт что будет завершаться концом строки
NK
великие умы стака прделагают узать SplFileObject для перемещения по строкам
да похер по большому счету. это та же обертка для fxxxx
TC
именно
TC
ничего не решается как итог)
СК
логи)
А переехать на, например, Elastic?
TC
та тут дело такое, что проебали 3 месяца, и данные полученые по смс не ложились в базу
TC
в итоге остались только логи)