МС
я не обижаюсь :))
Да я вас понял
А про базы как лучше писать то сразу в бд или через файлы?
Size: a a a
2020 December 18
OS
Если выбирать файл+бд, то лучше сразу бд. Если важна скорость, то лучше через очередь, редис, к примеру
Отличный ответ, я правда рэббит использую...
К
Отличный ответ, я правда рэббит использую...
Да, это уже модификации как с очередью работать)
OS
ну мне не столько скорость важна, сколько не потерять данные вообще
OS
хотя скорость у нас и с рэббитом норма, 40 потоков с хорошими проксями мы держим до 2к успешных запросов в минуту
DO
Лично я планирую все-все спаршенные данные класть в BigQuery, оттуда уже ETL'ить (фильтровать, дедублицировать, создвать столбцы) в меньшую бд (Postgres), к которой уже прикручивать BI (Metabase) для удобного анализа. Парсеры у меня пока маленькие.
К
Лично я планирую все-все спаршенные данные класть в BigQuery, оттуда уже ETL'ить (фильтровать, дедублицировать, создвать столбцы) в меньшую бд (Postgres), к которой уже прикручивать BI (Metabase) для удобного анализа. Парсеры у меня пока маленькие.
Надеюсь ты от меньшего к большему пойдешь
DO
Надеюсь ты от меньшего к большему пойдешь
ну я пока в sqlite записываю) А ETL писать через Airflow как семечки
М
graphql
Это спайдер есть такой где-то? или мне спайдер писать с использованием graphql?
AR
второе конечно
SS
ну и я свои 5 копеек вставлю.
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
относительно недавно парисил валдберрис, если без записи в базу, спокойно держало 6000 рпм (так сказать, идеал). С записью 4000 рпм. Это, максимуму 50 параллельных запросов.
за сутки, получается, спокойно можно сделать ~5,7млн запросов
А подскажи, какими проксями ты пользуешься? Мобильные/обычные? Где берешь, если не секрет?
SS
А подскажи, какими проксями ты пользуешься? Мобильные/обычные? Где берешь, если не секрет?
Я для яндекса и циана мобильные со сменой айпи взял, но скорость маловата, быстро их банят и потом ждешь смену айпи...
МС
файнпрокси, proxsys.io, люминатти, 4proxy - вообще, когда как.
оно же от сайта зависит, то, что подойдет для однго - совсем не факт, что подойдет для другого
оно же от сайта зависит, то, что подойдет для однго - совсем не факт, что подойдет для другого
МС
для яндекса попробуй proxys.io, когда то для поиска офигительно шли. 40 шт при 15 потоках каптчи с сотню за сутки набиралось
SS
для яндекса попробуй proxys.io, когда то для поиска офигительно шли. 40 шт при 15 потоках каптчи с сотню за сутки набиралось
Спасибо!