A
Если какойто агрегатор , 500+ пауков
Size: a a a
2020 December 09
A
Цен, продуктов, информации
A
Но такого мало
Юd
Скорее всего пилят сервис который отдает клиентам свежие данные по апи на основе ежемесячных подписок
A
response.xpath('.//div[@class="hawk-results-item__options-table-cell hawk-results-item__options-table-cell--price childAttributes"]/text()').getall()
С вот этой страницы https://starcitygames.com/search/?search_query=thief%20of%20sanity пытаюсь вытащить все цены кодом выше. Получаю пустой список. Что я делаю не так?МС
response.xpath('.//div[@class="hawk-results-item__options-table-cell hawk-results-item__options-table-cell--price childAttributes"]/text()').getall()
С вот этой страницы https://starcitygames.com/search/?search_query=thief%20of%20sanity пытаюсь вытащить все цены кодом выше. Получаю пустой список. Что я делаю не так?1. не показал ссылку на страницу
2. не показал свой код
2. не показал свой код
МС
3. для таких классов надо CSS пользовать
МС
4. точка в начале XPath не нужна
A
1. не показал ссылку на страницу
2. не показал свой код
2. не показал свой код
Соре, ссылку добавил. Код же в начале, я больше ничего пока не делаю.
A
4. точка в начале XPath не нужна
Без точки с самого начала делал, не помогло. Попробовать cssом?
A
2020-12-09 17:54:39 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET /sitemaps/sitemap8.xml> (failed 1 times): User timeout caused connection failure: Getting /sitemap8.xml took longer than 180.0 seconds..
МС
Без точки с самого начала делал, не помогло. Попробовать cssом?
ага
A
где увеличить время?
МС
DOWNLOAD_TIMEOUT ?
A
response.xpath('.//div[@class="hawk-results-item__options-table-cell hawk-results-item__options-table-cell--price childAttributes"]/text()').getall()
С вот этой страницы https://starcitygames.com/search/?search_query=thief%20of%20sanity пытаюсь вытащить все цены кодом выше. Получаю пустой список. Что я делаю не так?отключи js и будет магия
R
https://csgoatse.com/crash
не подскажите где тут найти источник подзагрузки динамических данных этого блока
я и так и так смотрел так и не понял как эти результаты подгружаются
не подскажите где тут найти источник подзагрузки динамических данных этого блока
я и так и так смотрел так и не понял как эти результаты подгружаются
МС
1. вкладка "Сеть" панели вебмастера
2. снифер
2. снифер
МС
причем, тут, скорее всего, нужен будет снифер + курить исходники страницы/JS. Наверняка это не HTTP