Вкладка респонс

ну например, для той ссылки по пагинатору - открываешь нетворк, жмешь на кнопку на сайте, которую тебе надо посмотреть, у тебя там крутится-вертится бегут строчечки такие тыр-тыр-быр-быр-быр, ждешь, когда они примерно до конца добегут, и идешь по этому списку в саааамый верх и видишь самое стартовое действие, в данном случае вида search?keyword... и т.к. оно тупо get-запрос, тебе даже не обязательно смотреть параметры справа или творить какую-то copy as curl(bash) на этом запросе и вставлять в curl.trillworks.com

Всем привет! Ребят, подскажите, у кого стояла задача парсить много несруктурированных сайтов из выдачи  Google, реально ли через sitemap приблизиться хотя бы к 60% эффективности? Мой пример это на входе сайт- дириктория с 500+ наименованиями новостных сайтов по каждой индустрии типа automative, trade, aviation и тд. Ссылк на сайты деректория не содержит, поэтому колбэками я гуглю каждый сайт по назаванию выбираю регулярками подходящий результат, забираю ссылку и делаю запрос к домену + sitemap.xml. На выходе мне нужены атор статьи и последние 5 статей. Сейчас меня гугл кидает на капчу когда обращаюсь к sitemap, думаю попробовать какой нибудь динамический прокси. Буду благодарен любым комментариям и рекоммендациям по этой задаче, так как с sitemap еще не работал - любая инфа очень важна.

Как тебе Гугл кидает капчу, если ты сайт запрашиваешь? На сайтмап не ставят капчу.

Можно конечно попробовать через сайтмап, но не уверен что через ссылки можно понять автора и статьи. Скорее это удобнее делать через меню сайтов

Вчера гугл мне возвращал капчи , по обращении к сайтмепу или к поисковику - я не уверен, так как до обращения к сайт мепу когда тестил , капчу не возвращало, поэтому такой вывод сделал, но скорее всего ты прав

Ну я просто прошёлся по Google Custom Search немного, там они говорят что есть некие PageMap data , которые позволяют  стандартизировать контент от сайта к сайту, не знаю на сколько это рабочий инструмент, но это больше по Search API . Вот здесь читал https://developers.google.com/custom-search/docs/structured_data

Через меню сайтов, да, можно, а ты так собирал?

Не видел раньше такого, это типа микроразметка?
Ты конечно можешь это использовать, но я бы не расчитывал что много сайтов реализуют этот подход. Но как один из вариантов, конечно

Нет, ни разу не было необходимости в массовом парсинге

Но названий для постов в меню не так много: posts, articles, blog и т.д.

Именно! В принципе это единственный якорь который приходит сейчас в голову. Но далее скажем я перехожу по news, сохраняю себе response.body или просто весь HTML. С какой вероятностью у меня автор будет размечен одинаково? А Ругуляркой по имени фамилии типа [A-Z][a-z]+/s [A-Z][a-z]+, там наверное борщ будет

Ну, я советую тебе использовать кэш, сохранить все страницы, чтоб ты мог быстро вносить правки и перезапускать. А дальше делай один сайт, потом второй, выноси более общее правила и так дальше

А ну или можно в регулярней добавить ><

Может что то и выйдет

Полезно! Спасибо большое!

Лучше фузивузи реализуй

подскажите, как я могу выбрать только один класс с названием listSelectableStyle, их 4 и они все одинаково называются.

response.css('div.footer div.listSelectableStyle').get()
 

например так?

response.css('div.footer div.listSelectableStyle').get()
 

выберется первый

response.css('div.footer div.listSelectableStyle').get()
 

А тебе какой?)