Size: a a a

2021 January 26

k

kFor in Scrapy
Селениум может работать в асинке?
источник

B

Bulatbulat48 in Scrapy
Zhandos
Yandex не выдает API, а с googlom нужны примеры работы такого парсера
отсливайте запросы браузера через network.
источник

МС

Михаил Синегубов... in Scrapy
Bulatbulat48
отсливайте запросы браузера через network.
там не все так безоблачно. По крайней мере раньше - там шифровались ответы.
Но, при желании, можно нарыть метод дешифровки без браузера. Либо через js2py (не знаю, справится он или нет), либо через какой другой JS интерпретатор.
ну, или, как обычно народ делает - использовать селениум :)
источник

Т

Тук Тук in Scrapy
Ребят привет!
Подскажите не совсем нубу с чего въехать в сабж, я уже старенький и мало востребованный гуманитарий, который программированием не занимался, время от времени пытался въехать то верстку, то в бэк, то в моб.разработку и другой зоопарк технологии, пристреливался так сказать что мне ближе, и все же тема парсинга, сбора данных мне ближе всего. Знаю немного в теории Питон, т.к. в свое время потратил много человекочасов на него, но без практики и особой цели все благополучно  выветрилось из головы. Какие годные курсы посоветуете?
источник

B

Bulatbulat48 in Scrapy
Тук Тук
Ребят привет!
Подскажите не совсем нубу с чего въехать в сабж, я уже старенький и мало востребованный гуманитарий, который программированием не занимался, время от времени пытался въехать то верстку, то в бэк, то в моб.разработку и другой зоопарк технологии, пристреливался так сказать что мне ближе, и все же тема парсинга, сбора данных мне ближе всего. Знаю немного в теории Питон, т.к. в свое время потратил много человекочасов на него, но без практики и особой цели все благополучно  выветрилось из головы. Какие годные курсы посоветуете?
источник

Т

Тук Тук in Scrapy
Да, спасибо нашел в шапке инфу))
источник

k

kFor in Scrapy
А селениум может убрать какой-либо определенный элемент со страницы?
источник

S

SoHard 🎄 in Scrapy
kFor
А селениум может убрать какой-либо определенный элемент со страницы?
всмысле может или не может? сохрани страницу и сравни
источник

К

Кирилл in Scrapy
Может он хочет удалить что-то
источник

k

kFor in Scrapy
Кирилл
Может он хочет удалить что-то
Да. Я так понял это нужно через жс делать
источник

AR

Andrey Rahmatullin in Scrapy
Нуачо
источник

AR

Andrey Rahmatullin in Scrapy
Или вопрос как джс выполнить?
источник

МС

Михаил Синегубов... in Scrapy
ох уж это "я тут че то хочу сделать, догадайтесь сами и скажите как" 😆
источник

R

Ranis in Scrapy
https://pastebin.com/YmNnTjJ3 ссылка на код
не могу вывести на экран любые данные внутри тэга trajectorySection
заранее спасибо)
источник

S

SoHard 🎄 in Scrapy
trajectorySection там нет)
источник

МС

Михаил Синегубов... in Scrapy
trajectoryStation ? 🧐
источник

R

Ranis in Scrapy
да, прощшу прощения
источник

МС

Михаил Синегубов... in Scrapy
xml.etree.ElementTree  - это же xpath? тогда надо гуглить уроки по нему...
источник

МС

Михаил Синегубов... in Scrapy
в смысле, "можно использовать xpath"
источник

R

Ranis in Scrapy
есть тестовый xml файл
структура его примерно такая же как у рабочего (который на сатйе)
и я могу в нем найти необходимый мне объект

когда пытаюсь сделатиь тоже самое для рабюочего файла выдает [ ];
убрал путь к необходимому тегу и он выдает все результаты и необходимыый в том списен также присутствует
источник