смотря какого железа, если про майнинг то нет)

у тебя ключи в файлах, т.е. нужно просканировать все файлы перед обработкой. как вариант можно заранее создать индекс где что лежит или сохранять данные таким образом, чтобы дата и ключ были частью пути (aka 2020/01/01/mykey)

если мы говорим про конкретные технологии которые могут помочь здесь и сейчас если все уже на S3, то бы смотрел в сторону AWS Athena (https://aws.amazon.com/athena/)

А сколько там данных-то? Может sqlite с двумя ключами справится?

Думаем майнер для домохозяек сделать - покупаешь коробку, подключаешь к току и интернету и ждёшь. Обналичивание монеты через нас, чтобы вообще без заморочек.

Пара вопросов касательно технической и софтовой реализации. Думаем написать на электроне небольшой софт для мониторинга "монет" и базовой настройки, всё это на небольшом мониторчике на коробке. Глядишь у кого был подобный опыт)

сотни Mb в будний день и  субботу, в вс десятки

у меня есть процесс который обрабатывает эвент логи. один лог - это группа эвентов за день

перед началом процесса делаем aws s3 sync с локальной директорией, а затем создаем event stream используя питоновские генераторы

выглядит как-то так

all_files = gen_files(‘./events)
log_files = (f for f in all_files if f.endswith('.gz') and 'backend' in f)
jsonl = gen_lines(log_files)

operations = (obj for obj in jsonl if 'op' in obj)

а дальше можно фильтровать стрим как угодно

report = (
   op for op in operations if
       op['where'] == 'prod' \
           and op['who'] not in ignored_list \
           and op['time'] >= period_start
)

лог один,  или один на клиента?

все файлы лежат в директории events. поэтому список файлов тоже представляем как стрим

def gen_files(data_dir):
   for root, dirs, files in os.walk(data_dir):
       for fl in files:
           ….
           yield filepath

all_files = gen_files(‘./events)

о, наконец-то в этом чате стали код постить, а то все блабла

Тормозило сильнее, чем джира?

такое возможно? )

как в воду глядите, я думал маме такой подарить для наглядного общего развития )
но с майнингом не помогу. Знаю только одного дядьку русского в китае живет, который торгует ими лучше всех, сам ничего не понимая особо

и кстати я такое видел уже

Да мы и сами начали закупать на БУ видеокарты - там срок окупаемости в районе 30-40 дней

В СНГ конкурентов нет, да и мы просто на лайте

идея в том что код твоего процессинга ничего не знает о файлах и их структуре. он просто должен работать со стримом объектов

Делайте обогревателем тогда уж(такое было) :D

Дороговато для отопления будет))

sold out значит не поехало, последний твит в мае - они закрылись уже