Size: a a a

2020 August 18

SS

Stepan Smirnov in Scrapy
FormRequest фактически заполняет поле "body" scrapy.Request значениями из form_data. Правильно?
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

S

SoHard 🎄 in Scrapy
Михаил Синегубов
люди очередной нубятский вопрос
1. есть основной код, написан под асинхроном, всякие async/await
2. в основной либе то же все Ок, async/await
3. но есть второстепенная либа, которая написана на чистых реквестах.

Внимание вопрос, что плохого будет, если смешать все в одну кучу?
источник

S

SoHard 🎄 in Scrapy
Вот, тогда создаётся отдельный поток для синхронной функции, если я правильно понял
источник

AR

Andrey Rahmatullin in Scrapy
вариант
источник

S

SoHard 🎄 in Scrapy
Иначе на синхронном коде будет стопориться вся программа
источник
2020 August 19

A

Andrii in Scrapy
Привет. Кто-то такое делал? https://scrapoxy.readthedocs.io/en/master/quick_start/index.html, как впечетления?
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
Andrii
Привет. Кто-то такое делал? https://scrapoxy.readthedocs.io/en/master/quick_start/index.html, как впечетления?
выглядит заманчиво. Как я понимаю, Амазон как проксю позволяет юзать?
источник

A

Andrii in Scrapy
✏️ Oleksandr dntPanix |Worm|
выглядит заманчиво. Как я понимаю, Амазон как проксю позволяет юзать?
Походу
источник

AK

Artem Konuchov in Scrapy
Andrii
Привет. Кто-то такое делал? https://scrapoxy.readthedocs.io/en/master/quick_start/index.html, как впечетления?
Вот только проект немного мертвый. Проблемы с проксированием на https и масштабированием. Это только то с чем я столкнулся
источник

AK

Artem Konuchov in Scrapy
Надо дорабатывать напильником
источник

AK

Artem Konuchov in Scrapy
Ну и автор ушел в подполье и кажется не передал права, а форка живого нет
источник

A

Andrii in Scrapy
а есть решения как лучше проксировать aws instance ? elb?
источник

МС

Михаил Синегубов... in Scrapy
Artem Konuchov
Ну и автор ушел в подполье и кажется не передал права, а форка живого нет
ну так сделай, в чем проблема😏
ну и, может, плюсик в карму словишь
источник

AA

Artemiy Artemiy in Scrapy
Привет!. Как получить все элементы списка?
response.xpath("//ul[@class='page_index']/li") возвращает только первый
источник

К

Кирилл in Scrapy
Artemiy Artemiy
Привет!. Как получить все элементы списка?
response.xpath("//ul[@class='page_index']/li") возвращает только первый
response.xpath().getall()
источник

AA

Artemiy Artemiy in Scrapy
Кирилл
response.xpath().getall()
мне не нужен текст. Мне нужны элементы списка.
источник

К

Кирилл in Scrapy
Твоё должно работать, разве что ты цепанул своим // какой-то другой список
источник

К

Кирилл in Scrapy
А, поменяй / на //
источник

AA

Artemiy Artemiy in Scrapy
Кирилл
Твоё должно работать, разве что ты цепанул своим // какой-то другой список
вот именно. Всё должно работать. второй час уже голову ломаю. JS нет. Список один.
источник