К
а это экономически оправданно при большом количестве сайтов?
Да. Если не считать супер общего парса где ты с сайта только тайтл берешь
Size: a a a
2020 June 04
A
а это экономически оправданно при большом количестве сайтов?
Тогда scrapyd
МС
ага, кстати, у меня сейчас задачка наклевывается - 15-20 сайтов, со всех вытащить ОДНО число.
хотелось бы выслушать ораторов :))
на самом деле, есть настроение запилить в одном файлике на реквестах :), либо многопоток, либо асинхрон (если разберусь)
просто, пилить в скрапи в одном файле.... что то не особо, пилить 15-20 пауков для выдергивания 1 числа....
короче, хотелось бы послушать мнение:)
хотелось бы выслушать ораторов :))
на самом деле, есть настроение запилить в одном файлике на реквестах :), либо многопоток, либо асинхрон (если разберусь)
просто, пилить в скрапи в одном файле.... что то не особо, пилить 15-20 пауков для выдергивания 1 числа....
короче, хотелось бы послушать мнение:)
МС
Andrii
Тогда scrapyd
а каким боком тут скрапид относится?
A
а каким боком тут скрапид относится?
Управлять пауками
МС
Andrii
Управлять пауками
ну, все равно не понял каким образом это к вопросу относится.
Что оно управляет пауками - это я знаю. Просто вопрос к структуре проекта. Управлять, может вообще самописная система будет... или консолька
Что оно управляет пауками - это я знаю. Просто вопрос к структуре проекта. Управлять, может вообще самописная система будет... или консолька
A
с помощью селениума обрабатываю ответ сайта
ну и подумал может сработает вот такая штука
теперь брать данные только так
ну и подумал может сработает вот такая штука
resp = self.driver.get(response.url)и дальше
response = self.driver.page_source
response.xpath
но в response уже строка) теперь брать данные только так
self.driver.find_element_by_css_selector или с помощью butefulsoup
я все правильно понял?)2020 June 05
К
с помощью селениума обрабатываю ответ сайта
ну и подумал может сработает вот такая штука
теперь брать данные только так
ну и подумал может сработает вот такая штука
resp = self.driver.get(response.url)и дальше
response = self.driver.page_source
response.xpath
но в response уже строка) теперь брать данные только так
self.driver.find_element_by_css_selector или с помощью butefulsoup
я все правильно понял?)Скрапи использует parsel, можешь явно передавать туда html, если хочешь дальше работать в стиле скрапи
SS
а можете порекомендовать решения для мэтчинга товаров с различных сайтов?
A
а можете порекомендовать решения для мэтчинга товаров с различных сайтов?
fuzzywuzzy
A
Если правильно понял тз
SS
Хотелось бы найти программу с UI, в которую можно загрузить csv таблицы (может с предварительным автоматическим пэйрингом) и посадить за неё человека, чтобы он подтверждал верные пары товаров.
И
curl -I --proxy 207.154.231.213:3128 http://httpbin.org почему в терминале это работает, а тот же самый прокси в пауке либо failed to connect , либо redirect хер пойми куда, либо на SSL ругается ? Перебирая разные прокси нашел наконец который заработал в пауке, но как определить подходящий прокси если мне их с десяток нужно будет ,?
AR
потому что в пауке у тебя хттпс
🎅B
Здравтвуйте, я тут немного туплю. Вот у меня есть сайт http://www.example.com/feed.xml
На нем должен быть xml вместо html, так? Но почему в инспекторе html код, а XMLFeedSpider при запуске с crawl выдает 404? Мб я не так запустил или тупой?
На нем должен быть xml вместо html, так? Но почему в инспекторе html код, а XMLFeedSpider при запуске с crawl выдает 404? Мб я не так запустил или тупой?
AR
ничо не понял
🎅B
AR
http://www.example.com/feed.xml это действительно 404 с хтмл внутри, а что?