привет, ребят. можете накидать сервисов где можно провериться на бота?
я на этом чекаюсь: https://bot.sannysoft.com/
мб еще есть какие-то

да, походу тут что то происходит

А государственные сайты могут упасть от 2000 запросов в минуту?

очень уж общий вопрос

думаю могут

а какое государство вас интересует? ))

Жди ми6

AutoThrottle спасёт сайт от падения

наверное

Просто довнлоад делей спасает

:)

могут от 100

Использую scrapyrt, хочу из другого скрипта запрос запрашивать на скрапи сервер, что я делаю не так? В ответ на код ниже получаю 400

card_price = requests.post('http://localhost:9080/crawl.json', data=json.dumps(price_parsing))

Реквест скормить получилось, но теперь вот такая ошибка на скрапи сервере лезет.

builtins.Exception: The installed reactor (twisted.internet.epollreactor.EPollReactor) does not match the requested one (twisted.internet.asyncioreactor.AsyncioSelectorReactor)

а зачем тебе AsyncioSelectorReactor?

Спасибо, нашел. Это остатки от моей попытки подружить скрапи и аиограм в одном проекте.

А если мне надо итерироваться по контейнерам, в названии которых есть подстрока, мне в регулярки же дорога?

и CSS, и XPath умеют contains

for card_item in selector.xpath('//div[@class="hawk-results-item"]'):
            card_info['set']=card_item.xpath('.//p[@class="hawk-results-item__category"]//a/text()').get()
            card_info['condition'] = card_item.xpath('.//div[contains(@class,"hawk-results-item__options-table-cell hawk-results-item__options-table-cell--name"])/text()').get().strip()[:-2:]

Что я тут делаю не так, когда заполняю card_info['condition']? Если доставать не через contains, а просто через class=, достаются не все данные. А если как в примере - я в итоге просто пустой вывод получаю.