Телеграмм чат группы scrapy

18:36пожаловаться #1

достаю из формы авторизации

18:36пожаловаться #2

auth_bs = BS(auth_html.content, 'html.parser')

csrf = auth_bs.select('input[name=csrfmiddlewaretoken]')[0]['value']

18:37пожаловаться #3

data верно же для x-www-form-urlencoded

18:37пожаловаться #4

а про хедеры идея верна, непонятно почему не применяется

18:37пожаловаться #5

не знаешь какие - пробуй сначала все похожие на правду

18:37пожаловаться #6

Их тут довольно много, я хз какие отправлять

18:38пожаловаться #7

Andrey Rahmatullin

data верно же для x-www-form-urlencoded

а да кстати, но тогда нужно Content-Type=application/x-www-form-urlencoded

18:39пожаловаться #8

там ещё и в куке csrftoken

18:39пожаловаться #9

Maksim

Их тут довольно много, я хз какие отправлять

ну берёшь постман и проверяешь, что надо, а что нет

18:39пожаловаться #10

Это как ?)
Я не шарю

18:40пожаловаться #11

Convert cURL command syntax to Python requests, Ansible URI, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

а еще проще берешь из браузера копируешь курл и вставляешь в https://curl.trillworks.com/, описано в faq

Trillworks

Utility for converting curl commands to code

18:40пожаловаться #12

Bulatbulat48

а да кстати, но тогда нужно Content-Type=application/x-www-form-urlencoded

не уверен что надо

18:40пожаловаться #13

Andrey Rahmatullin

не уверен что надо

да, действительно есть "Content-Type": "application/x-www-form-urlencoded",

18:43пожаловаться #14

Convert cURL command syntax to Python requests, Ansible URI, Node.js, R, PHP, Strest, Go, Dart, JSON, Elixir, and Rust code

Bulatbulat48

а еще проще берешь из браузера копируешь курл и вставляешь в https://curl.trillworks.com/, описано в faq

Trillworks

Utility for converting curl commands to code

Спасибо

18:46пожаловаться #15

❤️

18:46пожаловаться #16

велкам

18:47пожаловаться #17

izzz zzi in Scrapy

Михаил Синегубов

человеки, сугубо творчески вопрос оптимизации производительноси/памяти.
у меня за проход обрабатывается ~200-400 тыс айтемов (рекорд, пока, ~4 млн)
все пишется в постгрес базу, с контроем уникальности, чанками по 10 тыс. и открытием/закрытием транзакции
какой подход более подходящий для "тру программиста"
1. бросаем все в базу, а там двиг уже сам разберется дубликат или нет (дубликаты игнорятся) - так сейчас и есть
2. держим в памяти список ID (длинное целое) смотрим дубликаты по нему....

А как быстро он 10к пишет у тебя?)

Михаил Синегубов in Scrapy

19:03пожаловаться #18

МС

Так возник вопрос: насколько обоснованно использовать db фреймворк для скрапи? При условии, что двиг базы жёстко прописан и меняться никогда не будет.
Я всегда считал, что нативный SQL всегда шустрее любого фреймворка...

19:12пожаловаться #19

АП

Агент Печенька in Scrapy

Если sql написан правильно то да.