Ребят у кого был опыт парсинга сайта booking.com ? Мне нужно с этого сайта парсить отзывы. Погуглив я правильно да понял что апи как такового открытого нету.Чтобы получить апи надо зарегистрироваться как разработчик да ?  https://developers.booking.com/api/index.html

маленький оффтопик, но ... вчера ScrapingHub стал Zyte. Письмо в почту прислали. Странный ребрендинг ) ...какие-то прям изменения... Scrapy надеюсь не планируют из Open Source забирать ))

ну даже если заберут, то будет две ветки

хотя им это самим не выгодно

что-то вспомнился mysql и mariadb )

Берешь парсишь как обычно, там обычный XHR

Со скрапи ничего не случится, но некоторые пакеты будут переименованы

В которых было старое название

Разве ? Я по этой ссылке смотрел https://www.booking.com/searchresults.ru.html?label=gen173nr-1DCAEoggI46AdIM1gEaIABiAEBmAEhuAEXyAEV2AED6AEBiAIBqAIDuAKog-qABsACAdICJDhkYWMwZDRkLTFjZmUtNDI4Mi1iYmE0LTM2MTI2MTc3MzNmYdgCBOACAQ;sid=fbf4cbc414709914a27b61f025b2a49f;city=-2334069;from_idr=1&;dr_ps=IDR;ilp=1;d_dcp=1  и чет не нашел мне нужного XHR ответа

И те которые находил там ошибка 403 была

мне кажется там не все так просто

Попозже посмотрю

Но я видел паука, который их собирает

окей буду ждать)

тебе парсить по ссылкам надо или "прошерстить весь сайт"?

прошерстить весь сайт по определенным городам

и собрать отзывы

1. если хочешь более одного параллельного запроса - разделяй куки через cookiejar
2. aid, sid, pid, label - меняются, ищи на стартовой  так что, надо предварительно запросить страничку (я главную просил) что бы их определить
3. при вводе города появляется выпадающий список, оттуда берешь кучу инфы для запроса . Иногда город не находит у себя, тогда он ищет его через гугл (запрос внутри букинга)
4. пагинацию не делал, я фильтры собирал

это примерное описание. И да, там именно XHR

Речь же шла про ревью? Или сейчас вопрос как список результатов получить?