VB
начиная с того что ты понимаешь под потоком скрапи
конкурентные запросы
Size: a a a
2020 April 16
B
Откуда все мои вопросы. Скрипт на чистом питоне без скрапи в 40 потоков работает быстрее чем скрапи в 40 потоков
settings в студию 🙂
МС
Может такое быть что скрапи в 40 конкурентных запросов работает медленнее чем просто 40 питоновских потоков
любой код заточенный под конкретную задачу будет работать быстрее чем универсальный. Скрапи, при всех прочих - универсальна система.
В то же время, если код написан косоруко (не конкретно к тебе, это как определение оптимальности, я и свой код периодически так называю) - то код будет тормозным, не свисимо универсальный или написанный под конкретную задачу...
:)
В то же время, если код написан косоруко (не конкретно к тебе, это как определение оптимальности, я и свой код периодически так называю) - то код будет тормозным, не свисимо универсальный или написанный под конкретную задачу...
:)
МС
HTTPCACHE_EXPIRATION_SECS = 0 - помнится, в 2,0 это "работать без кеша"...
AR
Откуда все мои вопросы. Скрипт на чистом питоне без скрапи в 40 потоков работает быстрее чем скрапи в 40 потоков
что такое скрапи в 40 потоков?
VB
что такое скрапи в 40 потоков?
конкурентных запросов
МС
что такое скрапи в 40 потоков?
ты слишком стар "для такого дерьма" (или как там эта фраза звучит) 😂
то "исключения", то "потоки", вот простые смертные поняли о чем речь🙃
З.Ы, Сам никак не отучусь от того, что бы называть кункурентные запросы потоками
то "исключения", то "потоки", вот простые смертные поняли о чем речь🙃
З.Ы, Сам никак не отучусь от того, что бы называть кункурентные запросы потоками
AR
конкурентных запросов
а "Скрипт на чистом питоне без скрапи в 40 потоков"?
VB
а "Скрипт на чистом питоне без скрапи в 40 потоков"?
да
AR
что да
AR
там 40 настоящих потоков или асинхронщина?
VB
настоящих потоков
AR
а в скрапи поток один
AR
но это всё неважно когда сервер отдаёт запросы по полминуты, но про это я уже писал
VB
но это всё неважно когда сервер отдаёт запросы по полминуты, но про это я уже писал
Сервер у нас один и тот-же
МС
@Molfar_Page версия скрапи какая?
VB
@Molfar_Page версия скрапи какая?
2.0.1
МС
1. HTTPCACHE_EXPIRATION_SECS = 864000
2. HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.DbmCacheStorage'
3. HTTPCACHE_DBM_MODULE = 'dbm"
4. удаляешь все из базы
запускаешь на пару часов минимум
потом, опять удаляешь все из базы и запускаешь снова.
так ты увидишь, тормозят у тебя запросы в скрапи или нет
это в том случае, если у тебя не переменные данные для запросов используются
2. HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.DbmCacheStorage'
3. HTTPCACHE_DBM_MODULE = 'dbm"
4. удаляешь все из базы
запускаешь на пару часов минимум
потом, опять удаляешь все из базы и запускаешь снова.
так ты увидишь, тормозят у тебя запросы в скрапи или нет
это в том случае, если у тебя не переменные данные для запросов используются