Телеграмм чат группы scrapy

Если алгоритм один (или небольшое количество) и нужен высокопроизводительный парсер - тазик кофе и переписываеш на питон. Пихать браузер в парсер это получить тормоза. Так что, если есть возможность - лучше без него.

источник

20:02пожаловаться #5

S

SoHard 🎄 in Scrapy

Пастырь

Один сайт видел, который шифрует js и дешифрует на стороне клиента

это один из тех что base64 в браузере в нормальный текст расшифровывает?)

источник

20:11пожаловаться #6

E

EFS in Scrapy

Пастырь

Один сайт видел, который шифрует js и дешифрует на стороне клиента

если сайт индексируется гуглом, то для него он отдает контент без извращений

П

если сайт индексируется гуглом, то для него он отдает контент без извращений

я тоже так думал, но там обычная рулетка

S

если сайт индексируется гуглом, то для него он отдает контент без извращений

он отдаёт текста, а контактные данные и тд. прячет

источник

20:31пожаловаться #9

П

Пастырь in Scrapy

Не могу в истории найти :/

источник

20:34пожаловаться #10

П

Пастырь in Scrapy

https://www.aiscore.com/ru
Нашел. Это не рулетка а ставочки

Aiscore

AiScore - Текущий счет, футбольные результаты, футбольные матчи сегодня

Бесплатные футбольные прямые трансляции на AiScore Football Livescore. AiScore предоставляет вам отличную и быструю футбольную статистику в реальном времени со всех мировых соревнований, включая текущий счет, окончательные результаты, запланированные матчи, турнирную таблицу, коэффициенты и другую статистическую службу.

источник

20:39пожаловаться #11

S

SoHard 🎄 in Scrapy

Пастырь

https://www.aiscore.com/ru
Нашел. Это не рулетка а ставочки

Aiscore

AiScore - Текущий счет, футбольные результаты, футбольные матчи сегодня

Бесплатные футбольные прямые трансляции на AiScore Football Livescore. AiScore предоставляет вам отличную и быструю футбольную статистику в реальном времени со всех мировых соревнований, включая текущий счет, окончательные результаты, запланированные матчи, турнирную таблицу, коэффициенты и другую статистическую службу.

а при чём тут шифрование если там данные приходят от апи после загрузки страницы, там ничего не зашифровано даже

источник

20:45пожаловаться #12

S

SoHard 🎄 in Scrapy

image_2021-01-08_19-47-15.png

(56.65 Кб)

в base64

источник

20:47пожаловаться #13

R

Roma in Scrapy

Доброго времени суток - а кто какой докер имедж scrapyd юзает?

источник

21:20пожаловаться #14

R

Roma in Scrapy

вроде как офф у скрапинхаба нету на докер хабе

источник

21:21пожаловаться #15

2021 January 09

BB

Bral Bral in Scrapy

Добрый день. подскажите, можно ли запускать процесс скрепинга через код, а не через строку, как указано здесь https://docs.scrapy.org/en/latest/intro/tutorial.html ?

источник

16:39пожаловаться #16

К

Кирилл in Scrapy

Bral Bral

Добрый день. подскажите, можно ли запускать процесс скрепинга через код, а не через строку, как указано здесь https://docs.scrapy.org/en/latest/intro/tutorial.html ?

Можно, в документации есть примеры

источник

16:40пожаловаться #17

G

Georgiy in Scrapy

Bral Bral

Добрый день. подскажите, можно ли запускать процесс скрепинга через код, а не через строку, как указано здесь https://docs.scrapy.org/en/latest/intro/tutorial.html ?

https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script

источник

16:40пожаловаться #18

BB

Bral Bral in Scrapy

Благодарю !

источник

16:40пожаловаться #19

К

Кирилл in Scrapy

В любом случае, любой процесс можно запустить в подпроцессе)

источник

16:41пожаловаться #20