Телеграмм чат группы scrapy

это было больше к тому, сколько скрапи может выдать в почти идеальных условиях, где удаленный сервер вообще не влияет, и типа к чему надо стремиться, у меня емнип не получалось больше 4к айтемов в минуту получать. Из кеша то все эти ограничения и задержки не работают, он молотит по-максимуму и там уже в условный lxml упирается похоже.

источник

04:17пожаловаться #4

G

Georg in Scrapy

ildar

это было больше к тому, сколько скрапи может выдать в почти идеальных условиях, где удаленный сервер вообще не влияет, и типа к чему надо стремиться, у меня емнип не получалось больше 4к айтемов в минуту получать. Из кеша то все эти ограничения и задержки не работают, он молотит по-максимуму и там уже в условный lxml упирается похоже.

Я тебя не правильно понял, теперь понятно

источник

04:18пожаловаться #5

G

Georg in Scrapy

Тогда медленно чет

источник

04:18пожаловаться #6

i

ildar in Scrapy

ну тут от сервера обычно зависит, какая у него скорость. у меня еще такого не было чтобы сервер отдавал контент прям близко к тому, что может скрапи выдать - как видишь раза в 2-3 разница бывает по скорости.

источник

04:20пожаловаться #7

i

ildar in Scrapy

ну и вот если он хочет протестить как он близко подошел к пределам - может прогнать на кэше на быстром ssd сначала без базы, потом с базой, потом без кэша, с базой и без и поймет сколько база добавляет оверхеда. И стоит ли дальше заморачиваться с ускорением

источник

04:22пожаловаться #8

G

Georg in Scrapy

ildar

ну и вот если он хочет протестить как он близко подошел к пределам - может прогнать на кэше на быстром ssd сначала без базы, потом с базой, потом без кэша, с базой и без и поймет сколько база добавляет оверхеда. И стоит ли дальше заморачиваться с ускорением

Любая база заметно тормозит?

источник

04:23пожаловаться #9

G

Georg in Scrapy

Как ты оптимизируешь скорость скачивания и упаковку данных?

источник

04:24пожаловаться #10

i

ildar in Scrapy

не знаю. я еще не тестил, у меня все в файлы пишет.

источник

04:24пожаловаться #11

i

ildar in Scrapy

по кэшу только могу сказать - что скорость работы с дисковым и с leveldb примерно сопоставима. Только leveldb намного меньше файликов в своей базе держит. Удобно когда к примеру лям страниц надо спарсить. Кэш под 100 гигов занимает стока файлов, что на ssd удаляется минут 20-40.

источник

04:26пожаловаться #12

i

ildar in Scrapy

тока вот в последнем скрапи leveldb выпилили)

источник

04:26пожаловаться #13

G

Georg in Scrapy

В scrapyd редис вроде бы используется или я путаю? Просто недавно в теме этой всей)

источник

04:27пожаловаться #14