B
'amz_services.services.get_items_front.asin_parse.pipelines.MySQLPipeline': 300, 🤔еще custom retry..
еще custom retry..
Size: a a a
2020 April 16
еще custom retry..
МС
@Molfar_Page - попробуй как я написал.
если на втором проходе будет 3-4 тыс запросов в минуту - то сайт тебя не любит, либо ты что то не учитываешь
если будет мало - то подходишь к зеркалу и читаешь мантру "я буду читать как оптимизировать работу с базой"
если на втором проходе будет 3-4 тыс запросов в минуту - то сайт тебя не любит, либо ты что то не учитываешь
если будет мало - то подходишь к зеркалу и читаешь мантру "я буду читать как оптимизировать работу с базой"
МС
'amz_services.services.get_items_front.asin_parse.pipelines.MySQLPipeline': 300, 🤔еще custom retry..
оно же вроде один раз грузится... или не?
МС
точнее, подключается
B
оно же вроде один раз грузится... или не?
я к тому что кастомный скрипт
VB
'amz_services.services.get_items_front.asin_parse.pipelines.MySQLPipeline': 300, 🤔еще custom retry..
МС
я к тому что кастомный скрипт
блин, ну, это было несколько дней назад известно :))
B
блин, ну, это было несколько дней назад известно :))
а 🙂
МС
ох уж эта универсальность 😂, ненавижу, тем более в работе с базой.
попробуй сделать то, что я сказал
попробуй сделать то, что я сказал
VB
'amz_services.services.get_items_front.asin_parse.pipelines.MySQLPipeline': 300, 🤔еще custom retry..
там только капча проверяется
VB
ох уж эта универсальность 😂, ненавижу, тем более в работе с базой.
попробуй сделать то, что я сказал
попробуй сделать то, что я сказал
Но то сохранение же никак неможет повлиять на скорость?
МС
Но то сохранение же никак неможет повлиять на скорость?
ну, у тебя же " Скрипт на чистом питоне без скрапи в 40 потоков работает быстрее чем скрапи в 40 потоков"
МС
что отличается
1. отправка и очередь запросов
2. работа с базой (не поверю, что в твоем скрипте этот же пайп используется)
1. отправка и очередь запросов
2. работа с базой (не поверю, что в твоем скрипте этот же пайп используется)
VB
что отличается
1. отправка и очередь запросов
2. работа с базой (не поверю, что в твоем скрипте этот же пайп используется)
1. отправка и очередь запросов
2. работа с базой (не поверю, что в твоем скрипте этот же пайп используется)
Да, отсюда и вопросы. Где я косячу
МС
Да, отсюда и вопросы. Где я косячу
млять, где ты косячишь - только ты можешь сказать, код ведь у тебя и только ты можешь найти косяк :)
VB
млять, где ты косячишь - только ты можешь сказать, код ведь у тебя и только ты можешь найти косяк :)
Я показал настройки и пайплайн
VB
В остальных местах просто вычисления
VB
они же не могут занимать время
МС
ну, ты не показал своей базы, ты не попробовал написать пайп на нативном SQL, ты не попробовал оптимизировать базу
это на вскидку те НЕ которые пришли мне в голову.
Но зато ты постоянно спрашиваешь, "где у меня косяк". При таких исходных данных так и хочется ответить "косяк в коде" :)
это на вскидку те НЕ которые пришли мне в голову.
Но зато ты постоянно спрашиваешь, "где у меня косяк". При таких исходных данных так и хочется ответить "косяк в коде" :)
VB
Я же правильно понял, что если я открою concurrent diagram в пайчарме я должен увидеть там 40 тредов, а не 16?