🎅B
А блин. Тупанул
Size: a a a
2020 June 01
🎅B
Не туда писал
🎅B
Сори
МС
А блин. Тупанул
да я же и не против совсем 😂,
2020 June 02
🎱
есть https://www.baldor.com/catalog#category=242 сайт с разными категориями.
он тянет данные с помощью апи.
Матчей продуктов может быть ~10k.
в запросе апи есть query string с параметром pageSize.
Насколько корректно запрашивать сразу большое кол-во матчей? (в коде я запрашиваю сразу 10к матчей)
он тянет данные с помощью апи.
https://www.baldor.com/api/products?include=results&language=en-US&include=filters&include=category&pageSize=10&category=242
Матчей продуктов может быть ~10k.
в запросе апи есть query string с параметром pageSize.
Насколько корректно запрашивать сразу большое кол-во матчей? (в коде я запрашиваю сразу 10к матчей)
f'{self.api_url}products?include=results&pageSize={10**4}&category={int(category_page)}&brand=2нужно сохранить
Вопрос, думаю обработать отдельным реквестом саму страницу продукта и сохранить респонсом тело страницы, может есть другие варианты ?
response.body, но на сайте, на странице листинга продуктов, запрашиваются данные с помощью апи. Если сделать response.body то он будет одинаковым для всех продуктов. (В результатах апи есть ссылка на саму страницу) Вопрос, думаю обработать отдельным реквестом саму страницу продукта и сохранить респонсом тело страницы, может есть другие варианты ?
AR
чо
🎱
https://www.baldor.com/catalog#category=308
есть такая страница с листингом 515 продуктов.
Мне нужно для каждого продукта сохранить его response.body
есть такая страница с листингом 515 продуктов.
Мне нужно для каждого продукта сохранить его response.body
AR
"Мне нужно для каждого продукта сохранить response.body, но их не существует, что мне сохранять вместо них"
AR
ну ок чо
МС
нужно сохранить
Вопрос, думаю обработать отдельным реквестом саму страницу продукта и сохранить респонсом тело страницы, может есть другие варианты ?
response.body, но на сайте, на странице листинга продуктов, запрашиваются данные с помощью апи. Если сделать response.body то он будет одинаковым для всех продуктов. (В результатах апи есть ссылка на саму страницу) Вопрос, думаю обработать отдельным реквестом саму страницу продукта и сохранить респонсом тело страницы, может есть другие варианты ?
браузер, в смысле сплеш пуппитер и всякая такая фигня :)
🎱
ну ок чо
если зайти в Product detail, то будет тело.
Вот и думаю, слать для каждой страницы реквест и сохранять отдельно?
Вот и думаю, слать для каждой страницы реквест и сохранять отдельно?
AR
ну заходи, чо
🎱
браузер, в смысле сплеш пуппитер и всякая такая фигня :)
хм, сейчас попробую погуглить
AR
только сначала ты писал про листинг, а теперь про страницы продуктов
🎱
только сначала ты писал про листинг, а теперь про страницы продуктов
да, со страницы листинга нужно выцепить все
response.body на страницы продуктов. Сорри, не до конца раскрыл мысльAR
для этого, очевидно, надо запрашивать страницы продуктов
AR
не знаю как ещё можно сохранить страницу не запрашивая страницу
🎱
для этого, очевидно, надо запрашивать страницы продуктов
понял, ну мб были другие способы о которых я не знал.
спасибо
спасибо