Телеграмм чат группы scrapy

для небольших - готовое, если надо - то самописная постобработка.
для больших - самописный пайп

универсальное решение по определению не может быть быстрее написанного под конкреную задачу (при условии, что оптимизацией озадачиваешся)

источник

15:51пожаловаться #5

Sergey Sergey in Scrapy

Михаил Синегубов

А из готового что нормальное для постгреса?

источник

15:53пожаловаться #6

МС

Михаил Синегубов... in Scrapy

хз, у меня для постгреса только самопис :)
да там и писать под конкретную задачу часа 2-4 максимум

источник

15:54пожаловаться #7

Sergey Sergey in Scrapy

Михаил Синегубов

хз, у меня для постгреса только самопис :)
да там и писать под конкретную задачу часа 2-4 максимум

Я просто сам пока только монгой пользовался, вот и думаю, как правильно начать.

источник

15:56пожаловаться #8

Sergey Sergey in Scrapy

Михаил Синегубов

хз, у меня для постгреса только самопис :)
да там и писать под конкретную задачу часа 2-4 максимум

Спасибо!

источник

15:56пожаловаться #9

МС

Михаил Синегубов... in Scrapy

Sergey Sergey

Я просто сам пока только монгой пользовался, вот и думаю, как правильно начать.

если тебе хватает монги - нафиг тебе постгрес.
если прям нужен SQL начни с SQLite. В районе нескольких млн записей (было пара простых таблис до 50 млн), вполне себе норм держит. Зато, нет гемора с выбором типа данных, там их всего 4 (вроде как) 😁
но это, если ты не знаешь SQL баз и что то простенькое надо

источник

15:59пожаловаться #10

Andrii in Scrapy

Прокси с логином и паролем как правильно вставить в селениум хром?

источник

16:45пожаловаться #11

SoHard 🎄 in Scrapy

Andrii

Прокси с логином и паролем как правильно вставить в селениум хром?

уу, я вчера гуглил, то что нагуглил не работало, а остальное очень костыльно выглядело

источник

17:09пожаловаться #12

SoHard 🎄 in Scrapy

если разберешься, напиши, пожалуйста

источник

17:09пожаловаться #13

Daniil Okhlopkov in Scrapy

А я правильно понял, что скрапи не будет заходить на страницы, которые были уже открыты за текущий проход краулера? То есть я могу делать yield SeleniumRequest на все-все url, а он умный и не будет заходить дважды на то, что уже спарсил. Да?

источник

21:06пожаловаться #14

Кирилл in Scrapy

По дэфолтным настройкам, не будет на дубли заходить

источник

21:07пожаловаться #15

Daniil Okhlopkov in Scrapy

спасибо

источник

21:08пожаловаться #16

2020 December 19

Максим in Scrapy

Andrey Rahmatullin

graphql

а можно с помощью него извлекать контент из закрытых групп по подписке?

источник

11:55пожаловаться #17

SoHard 🎄 in Scrapy

Максим

а можно с помощью него извлекать контент из закрытых групп по подписке?

sticker.webp

(35.2 Кб)

источник

11:59пожаловаться #18

SoHard 🎄 in Scrapy

У нас тут хакирь

источник

12:00пожаловаться #19

Максим in Scrapy

имею ввиду, что мне надо извлекать инфу из закрытой группы. Могу ли я это делать с помощью graphql апишки, и можно вообще подписаться на эту группу как-нибудь(группа моя)

источник

12:01пожаловаться #20