В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

493 membersпожаловаться на группу
2020 June 01

МС

Михаил Синегубов... in Scrapy
короче, один хрен, тут скрапи и рябом не валялся с этой проблемой. Имеется в виду, надо сначала найти, как в принципе, хоть реквестами, пройти защиту. А потом уже биться "почему в скарпи нет контента"

скоро уже матами буду разговаривать на такие вопросы без ссылки на сайт
источник
12:19пожаловаться#1

A

Alex in Scrapy
Я ссылку давал выше если что)
источник
12:20пожаловаться#2

A

Alex in Scrapy
Спасибо за ответ
источник
12:20пожаловаться#3

МС

Михаил Синегубов... in Scrapy
ага, а если поискать по чатику, то можно найти разговор конкретно про этот сайт, что там икаспула и как ее можно попробовать пройти :)
источник
12:40пожаловаться#4

🎱

🎱 in Scrapy
Михаил Синегубов
т.е. фрейм с частью адреса "src="/_Incapsula_Resource?CWUDNSAI=22&xinfo=4..." вот совсем не настораживает?
а где такое посмотреть?
источник
12:49пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
в коде?
источник
12:50пожаловаться#6

🎱

🎱 in Scrapy
да
источник
12:50пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
в коде, говорю
источник
12:50пожаловаться#8

🎱

🎱 in Scrapy
Михаил Синегубов
т.е. фрейм с частью адреса "src="/_Incapsula_Resource?CWUDNSAI=22&xinfo=4..." вот совсем не настораживает?
не могу найти
источник
12:52пожаловаться#9

🎱

🎱 in Scrapy
как вы ищете такие штуки быстро?
источник
12:53пожаловаться#10

МС

Михаил Синегубов... in Scrapy
🎱
как вы ищете такие штуки быстро?
1. чистишь нахрен все куки и куришь вкладку "Network" инструментов разработчика баузера
2. ставишь https://www.postman.com/, куришь что от показывает
3. тянешь курлом старинцу
4. scrapy shell + print(response.text)
источник
12:58пожаловаться#11

МС

Михаил Синегубов... in Scrapy
выбирай удобный вариант
источник
12:58пожаловаться#12

🎱

🎱 in Scrapy
Михаил Синегубов
1. чистишь нахрен все куки и куришь вкладку "Network" инструментов разработчика баузера
2. ставишь https://www.postman.com/, куришь что от показывает
3. тянешь курлом старинцу
4. scrapy shell + print(response.text)
вау, очень годно, спасибо.
Сохранил
источник
12:59пожаловаться#13

МС

Михаил Синегубов... in Scrapy
🎱
вау, очень годно, спасибо.
Сохранил
а вот за это (то что сам не додумался) можно и пааа жопе получить. Кроме постмана - все "на поверхности лежит"
источник
13:00пожаловаться#14

МС

Михаил Синегубов... in Scrapy
думать то тоже надо
источник
13:00пожаловаться#15

🎱

🎱 in Scrapy
Михаил Синегубов
а вот за это (то что сам не додумался) можно и пааа жопе получить. Кроме постмана - все "на поверхности лежит"
согласен, но это для меня не очень то и очевидно было, поэтому спросил
источник
13:01пожаловаться#16

МС

Михаил Синегубов... in Scrapy
кстати, из всех вариантов:
1. постман - самый удобный, ибо можно все быреноко поменять
2. scrapy shell  - самый правдивый, относительно скарпи
источник
13:02пожаловаться#17

🎱

🎱 in Scrapy
Михаил Синегубов
кстати, из всех вариантов:
1. постман - самый удобный, ибо можно все быреноко поменять
2. scrapy shell  - самый правдивый, относительно скарпи
есть https://www.baldor.com/catalog#category=242 сайт с разными категориями.
он тянет данные с помощью апи.  
https://www.baldor.com/api/products?include=results&language=en-US&include=filters&include=category&pageSize=10&category=242

Матчей продуктов может быть ~10k.
в запросе апи есть query string с параметром  pageSize.
Насколько корректно запрашивать сразу большое кол-во матчей? (в коде я запрашиваю сразу 10к матчей)
f'{self.api_url}products?include=results&pageSize={10**4}&category={int(category_page)}&brand=2
источник
13:14пожаловаться#18

МС

Михаил Синегубов... in Scrapy
🎱
есть https://www.baldor.com/catalog#category=242 сайт с разными категориями.
он тянет данные с помощью апи.  
https://www.baldor.com/api/products?include=results&language=en-US&include=filters&include=category&pageSize=10&category=242

Матчей продуктов может быть ~10k.
в запросе апи есть query string с параметром  pageSize.
Насколько корректно запрашивать сразу большое кол-во матчей? (в коде я запрашиваю сразу 10к матчей)
f'{self.api_url}products?include=results&pageSize={10**4}&category={int(category_page)}&brand=2
"все что не убивает, делает нас сильнее"
Если сайт даёт (и не банит), и ты можешь прожевать - хоть мульён запрашивай
источник
13:16пожаловаться#19

МС

Михаил Синегубов... in Scrapy
Просто в большинстве случаев - увеличивать кол-во данных в результате смысла нет
источник
13:18пожаловаться#20