Телеграмм чат группы scrapy

Size: a a a

Scrapy

2020 May 22

Petr

У меня куча из прокси heapq при запрос дергаем прокси из кучи если ОК -1, если BAD +1 и таким образом остаются живые и самые хорошие прокси

Покажешь код?

источник

23:59пожаловаться #1

2020 May 23

Petr in Scrapy

async with session.get(url, proxy=f'http://{proxy}') as response:
assert response.status == 200
page = await response.text()
await search_data_in_page(url, page)
task_url.remove(url)
heapq.heappush(proxy_list, ((rating - 1), proxy))

источник

01:04пожаловаться #2

Petr in Scrapy

что-то вроде

источник

01:04пожаловаться #3

Petr in Scrapy

сама куча
def proxys():
proxy_list = [line.rstrip('\n') for line in open('lists/proxy-list.txt')]
return [
(random_rating(), proxy)
for proxy in proxy_list
]

источник

01:05пожаловаться #4

МС

Михаил Синегубов... in Scrapy

Petr

что-то вроде

То же самое и у Кирила. Только там на время прокси в БАДы уходят

источник

10:37пожаловаться #5

Alex in Scrapy

Всем привет

def parse(self, response):
        num = 0
        for data in response.css('tr.cmc-table-row'):
            num += 1
            name = data.xpath(f'//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[{num}]/td[2]//text()').getall()
            
            yield {
                'Name': name
            }

паук который парсит имена крипты с коинбейса
сохраняет в файл такой структурой

{"Name": ["Bitcoin"]},
{"Name": ["Ethereum"]},
{"Name": ["XRP"]},
{"Name": ["Tether"]}

Как можно сделать, что бы структура была такой:
'Name': ['Bitcoin', 'Ethereum', 'XRP', 'Tether',}

источник

10:42пожаловаться #6

МС

Михаил Синегубов... in Scrapy

def parse(self, response):
num = 0
name = data.xpath(f'//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[/td[2]//text()').getall()

yield {
'Name': name
}

источник

11:02пожаловаться #7

МС

Михаил Синегубов... in Scrapy

С телефона, так что отступы сам проставляй, примерно так.

источник

11:02пожаловаться #8

МС

Михаил Синегубов... in Scrapy

Но я вёрстку не видел

Скобку не закрыл

11:03пожаловаться #10

МС

Михаил Синегубов... in Scrapy

Кирилл

Скобку не закрыл

Если это мне...

источник

11:05пожаловаться #11

МС

Михаил Синегубов... in Scrapy

sticker.webp

(32.68 Кб)

источник

11:05пожаловаться #12

Кирилл in Scrapy

Тебе)

источник

11:05пожаловаться #13

МС

Михаил Синегубов... in Scrapy

Кирилл

Тебе)

А, тогда не "не закрыл", а "забыл убрать"😝

источник

11:06пожаловаться #14

Кирилл in Scrapy

Возможно)

источник

11:06пожаловаться #15

Alex in Scrapy

Михаил Синегубов

def parse(self, response):
num = 0
name = data.xpath(f'//*[@id="__next"]/div/div[2]/div[1]/div[2]/div/div[2]/div[3]/div/table/tbody/tr[/td[2]//text()').getall()

yield {
'Name': name
}

Спасибо!

источник

11:10пожаловаться #16

Andrey Rahmatullin in Scrapy

ну вот, а я б постпроцессинга насоветовал (потому что мне было влом читать исходный вариант)

источник

11:11пожаловаться #17

Georg in Scrapy

Есть какие-нибудь расширенные инструменты, с помощью которых можно детально и удобно разобрать всю сетевую работу страницы?

источник

12:14пожаловаться #18

Кирилл in Scrapy