такого нет(

а что есть

такое можно при помощи jmespath делать https://jmespath.org/tutorial.html
будет что-то типа jmespath.search('data.list.*.slug', data_json)

with open("e27_links_2020-06-26-01-55-36.csv", "r", encoding='UTF-8') as f:
            reader = csv.DictReader(f)
            for row in reader:
                name = row.get('name')
                slug = row.get('slug')
                link = row.get('Link')
                url = f'https://e27.co/api/startups/get/?slug={slug}&data_type=general&get_badge=true'
                yield Request(url, callback=self.parse, meta={'link': link})

как сделать что б csv.reader прочитал рамдоно row ?

и еще вопрос, как ограничить в скрапи количество урл к примеру до 100?

ты сам пытешься что-то найти перед тем как вопрос задавать?

хинт - формируешь вопрос на английском (можно гугл-транслейтом), пишешь в гугль, ответ обычно в первой пятерке ссылок)

и потом уже когда ты ничего не нашел - пишешь в чатики.

мля, дядь, не пугай так больше. Я чуть сообщение не снес 😂

😂

ага, дал бы RO не глядя на сутки, потом пипирками пришлось бы мерятся 🙃

Иногда шутка учит лучше, чем строгое "иди гугли". Так что это не оффтоп

я первые две строчки прочитал и афигел. Тока когда аватарку увидел - стал дальше чиатать :)

Всем привет, необходима помощь знатоков. Подскажите пожалуйста, может кто разбирается в сертификатах и как они проверяются или нет скрапи... В чём суть: отправляю запрос через requests - всё норм, пытаюсь пауком - получаю 403 ошибку от сайта (market.yandex.ru). На рабочем проекте мы нашли способ выключить TLS 1.3, и всё поехало, но может есть другое решение... Ещё в чём разница, есть такой сайт
https://clienttest.ssllabs.com:8443/ssltest/viewMyClient.html
У requests Session tickets Yes
У scrapy Session tickets No

сомневаюсь что дело в сертификатах

и нет, скрапи валидность сертификата сервера не проверяет, но у нормального сайта он валидный один хрен

Спасибо за информацию

https://twistedmatrix.com/documents/current/api/twisted.internet.ssl.CertificateOptions.html говорит что Session tickets действительно по дефолту выключены