Телеграмм чат группы scrapy

А посоветуйте 3rd party сервис для парсинга линкедина?
Интересует страница с "сотрудниками компании" типа https://www.linkedin.com/company/altinity/people/

источник

18:43пожаловаться #4

T

TENG_TECH in Scrapy

Привет, а есть ли вариант при фолловинге линков в yield запихунуть регулярное выражение?

источник

20:44пожаловаться #5

T

TENG_TECH in Scrapy

def parse_author(self, response):
def extract_with_css(query):
time.sleep(5)

return response.css(query).get(default='').strip()

yield {

'bio': extract_with_css('p'),
'email': extract_with_css( regex )

}

К

def parse_author(self, response):
def extract_with_css(query):
time.sleep(5)

return response.css(query).get(default='').strip()

yield {

'bio': extract_with_css('p'),
'email': extract_with_css( regex )

}

https://docs.scrapy.org/en/latest/topics/selectors.html#using-selectors-with-regular-expressions

источник

20:45пожаловаться #7

AR

Andrey Rahmatullin in Scrapy

ужас какой, time.sleep() в асинхронном приложении

источник

20:46пожаловаться #8

T

TENG_TECH in Scrapy

это там временно

источник

20:46пожаловаться #9

i

i in Scrapy

Alex Python

народ, можно ли как то увеличить Макс. размер get api запроса больше 2000 символов ? я юзаю requests, или это ограничение никак не изменить ?

это можно сделать если у тебя есть доступ к серверу, на самом сервере. А так - только если он же post-запросы поддерживает. Иначе облом.

источник

20:50пожаловаться #10

i

i in Scrapy

TENG_TECH

Привет, а есть ли вариант при фолловинге линков в yield запихунуть регулярное выражение?

ну ты можешь, но зачем именно в yield, ты можешь формировать в принципе переменную в функции parse_author нормальным образом и так, зачем еще подфункцию специальную для этого создавать, или это не частный случай? И потом, мне кажется, тебе стоит почитать про item loaders, возможно это то шо надо: https://docs.scrapy.org/en/latest/topics/loaders.html

источник

20:57пожаловаться #11

T

TENG_TECH in Scrapy

i

ну ты можешь, но зачем именно в yield, ты можешь формировать в принципе переменную в функции parse_author нормальным образом и так, зачем еще подфункцию специальную для этого создавать, или это не частный случай? И потом, мне кажется, тебе стоит почитать про item loaders, возможно это то шо надо: https://docs.scrapy.org/en/latest/topics/loaders.html

я с доки линк фоловер взял, там черз yield было, углубляться сильно не хочется, но наверное переписать линк фоловер все таки стоит

источник

20:59пожаловаться #12

i

i in Scrapy

ты читаешь офисальный тутор по скрапи?

источник

21:00пожаловаться #13

T

TENG_TECH in Scrapy

да

источник