Size: a a a

2021 April 22

R

Roman in pro.flood
парень за порог и ты сразу свободная?)
источник

AE

Alexandr Emelyanov in pro.flood
@dmsol сделали рест запрос в соседний сервис, результат - 6.65 tb в формате csv...

Пэйджинг? Не, не слышали
источник

D

Dima in pro.flood
это как вообще?
источник

AE

Alexandr Emelyanov in pro.flood
Да там сидят дятлы какие то, сделали апи, мы у них спросили за 2 года...
источник

AE

Alexandr Emelyanov in pro.flood
При промежутке запроса за месяц 560гб
источник

AE

Alexandr Emelyanov in pro.flood
Я хз как такое можно проектировать и отдавать
источник

D

Dima in pro.flood
это один файл столько весит?
источник

AE

Alexandr Emelyanov in pro.flood
Да
источник

D

Dima in pro.flood
так по идее либо они
источник

D

Dima in pro.flood
либо вы упадете
источник

D

Dima in pro.flood
с OOM
источник

AE

Alexandr Emelyanov in pro.flood
Причем он не как файл идёт, а просто csv контент
источник

AE

Alexandr Emelyanov in pro.flood
Они не упали, отдали же
источник

AE

Alexandr Emelyanov in pro.flood
Там суть в чем, стучишься на одно апи, которое возвращает ид, потом с ним дергаешь второе, которое уже отдает csv контент)
источник

t

tikkitavy in pro.flood
значит они не дятлы ))
источник

AE

Alexandr Emelyanov in pro.flood
Был бы файл - все проще, потоком сохранил на диск и потом обрабатывают как угодно, но нет ведь)
источник

AE

Alexandr Emelyanov in pro.flood
Опять таки, на сервисе иметь жёсткий на 5-10 Тб для этого...
источник

AE

Alexandr Emelyanov in pro.flood
@dmsol самый прикол, у них в спеке есть параметр callback type, который всегда mq. Мы у них спрашиваем, может вы нам по шине таки ответ отдавать будете? Они такие, ну типа это выполнено. Мы - где спека свежая? И все, попали, месяц молчат)
источник

D

Dima in pro.flood
мне кажется вот тут кейс для стримов
источник

D

Dima in pro.flood
реактивных
источник