Size: a a a

2021 January 15

МС

Михаил Синегубов... in Scrapy
AstralRomance
for card_item in selector.xpath('//div[@class="hawk-results-item"]'):
           card_info['set']=card_item.xpath('.//p[@class="hawk-results-item__category"]//a/text()').get()
           card_info['condition'] = card_item.xpath('.//div[contains(@class,"hawk-results-item__options-table-cell hawk-results-item__options-table-cell--name"])/text()').get().strip()[:-2:]

Что я тут делаю не так, когда заполняю card_info['condition']? Если доставать не через contains, а просто через class=, достаются не все данные. А если как в примере - я в итоге просто пустой вывод получаю.
для начала, составные классы лучше через CSS юзать
источник
2021 January 16

R

Roma in Scrapy
Костя Остапенко
Привет всем ))
Кто-то решал проблемку открытия очень большого файла JSON (168gb в моему случае) я пробовал ijson но что-то идёт не так ? Если кто сталкивался с данной проблемой буду благодарен за решение
Если еще актульано -  Apache Arrow должно с таким json справится
источник

R

Roma in Scrapy
оч крутая штука от создателя Pandas
источник

A

AstralRomance in Scrapy
Михаил Синегубов
для начала, составные классы лучше через CSS юзать
А в чем преимущество?
источник

МС

Михаил Синегубов... in Scrapy
Ну, хотя бы в том, что избавишся от contains
источник

A

AstralRomance in Scrapy
Михаил Синегубов
Ну, хотя бы в том, что избавишся от contains
А они же друг в друга не вкладываются? Если я изначально итерируюсь по xpath, я могу внутри относительно него итерироваться по css?
источник

AR

Andrey Rahmatullin in Scrapy
Можешь
источник

A

Andrii in Scrapy
Danil Denysenko
https://angel.co/companies
Товарищи, доброго времени суток. Если кому-то скучно, подскажите: если какие-то хитрые способы парсить такого вида сайт? страничка максимум может показывать до 400 товаров, но что бы их показать нужно жать "More" очень много раз. За одно нажатие 10 или 20 добавляется к списку. Как-то по хитрому это делается?
Привет. @Bulatbulat48 , @okhlopkov , @Verz1Lka , @donedile Удалось спарсить angel.co? Меня интересует - нет ли у вас базьі урлов компаний?
источник

A

Ashgaz in Scrapy
Немного некропостинга, простите.
Была подобная хрень. Тут чёрный цвет всегда одного значения. Можно загрузить в numpy картинку, перевести в монохром(ЧБ) и отсечь threshlod'ом все пиксели светлее чем нужный текст. А потом уже тессеракт
источник

A

Ashgaz in Scrapy
Переслано от CTRLCTRLV
Пангасиус МОРСКАЯ^ИЛЯ филе, зак^фоженный, 500 г
источник

AR

Andrey Rahmatullin in Scrapy
Неплохо
источник

A

Ashgaz in Scrapy
И сразу спрошу: мне заказали парсинг яндекс карт и гугл карт. Периодический парсинг фирм в небольших городах. Может делал кто?
1. Во сколько такое оценить вообще можно?
2.Запасаться супер-гугл-проксями сразу?
3.У гугла нет открытого апи? Яндекс точно денег просит за апи
4.Только селениум, да? Или можно порачится с скрапи попробывать?
источник

AR

Andrey Rahmatullin in Scrapy
У Гугла есть, платное
источник

S

SoHard 🎄 in Scrapy
Ashgaz
И сразу спрошу: мне заказали парсинг яндекс карт и гугл карт. Периодический парсинг фирм в небольших городах. Может делал кто?
1. Во сколько такое оценить вообще можно?
2.Запасаться супер-гугл-проксями сразу?
3.У гугла нет открытого апи? Яндекс точно денег просит за апи
4.Только селениум, да? Или можно порачится с скрапи попробывать?
все денег просят
источник

AR

Andrey Rahmatullin in Scrapy
Ну или там какое-то ограничение довольно маленькое
источник

A

Ashgaz in Scrapy
Вообщем только селениум, как я понял
источник

A

Andrii in Scrapy
Гугл запросов на 200$ в месяц дает по апи бесплатно
источник

AR

Andrey Rahmatullin in Scrapy
Ничего не путаешь?
источник

S

SoHard 🎄 in Scrapy
Andrii
Гугл запросов на 200$ в месяц дает по апи бесплатно
нет
источник

A

Ashgaz in Scrapy
О. Спасибо. Можно с пары аккаунтов если что оформить. Попробую покопать их доки
источник