Size: a a a

2020 June 03

AR

Andrey Rahmatullin in Scrapy
там и там селекторы
источник

СТ

Семён Трояновский... in Scrapy
Stepan Smirnov
а поддержка большого количества пауков для сайтов с каким подходом проще (в смысле как часто приходится их редактировать)?
у нас в команде хедлесс браузеры и подобные решения используются в самом крайнем случае
источник

К

Кирилл in Scrapy
Alex
а нет, еще один
что в перспективе лучше использовать
Splash или Selenium
или все зависит от задачи?
В перспективе конечно селениум
источник

R

Roma in Scrapy
у кого есть идеи что можно еще добавить в chrome_options ?
источник

R

Roma in Scrapy
источник

R

Roma in Scrapy
еще вот такую штуку использую
источник

R

Roma in Scrapy
источник

SS

Smiley Smile in Scrapy
Всем привет! Подскажите если кто парсил Vk, есть вариант без аккаунта тянуть данные?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

AR

Andrey Rahmatullin in Scrapy
из поиска
источник

МС

Михаил Синегубов... in Scrapy
наиглупейший вопрос - нахрена парсить вк без аккаунта?
он же, наверное, самый лояльный к парсингу. По крайней мере, в былые времена было так.
источник

AR

Andrey Rahmatullin in Scrapy
парсить с аккаунтом что угодно так себе идея
источник

AR

Andrey Rahmatullin in Scrapy
без аккаунта хотя бы можно сослаться на публичность данных
источник

МС

Михаил Синегубов... in Scrapy
хех, а парсить официальным API то же "так себе идея"?
источник

AR

Andrey Rahmatullin in Scrapy
ну у официального апи тоже есть термс оф юз конечно
источник

МС

Михаил Синегубов... in Scrapy
короче, сугубо личное мнение, извращятся и парсить вк без аккаунта и в обход АПИ, в 90% случаев "так себе идейка". Это каким надо мазохистом быть, что бы таким заниматься :).
я мимо АПИ только несколько случаев знаю
1. собрать все ID пользователей (через каталог проще)
2. работа с аудио (но это только через акк)
3. ... блин а больше и не придумаю

кстати, парсить поиск без акка - так себе идейка, там лимиты драконовские по скорости :)
источник

МС

Михаил Синегубов... in Scrapy
кстати, народ, а вообще - работал кто под убунтой с MSSQL, именно из питона.
у меня что то ни pyodbc ни pymssql не заводятся. По крайней мере при дебаге в PyCharm`e
источник

К

Кирилл in Scrapy
Да, у Вк очень приятный api, незачем мудрить
источник

R

Roma in Scrapy
Михаил Синегубов
кстати, народ, а вообще - работал кто под убунтой с MSSQL, именно из питона.
у меня что то ни pyodbc ни pymssql не заводятся. По крайней мере при дебаге в PyCharm`e
подключаешься по ODBC что ли ?
источник

МС

Михаил Синегубов... in Scrapy
Roma
подключаешься по ODBC что ли ?
да мне хоть как то подключиться😂
источник