вряд ли есть доки про всё это

ну смотри есть параметр в куке или хедере гуглишь его и узнаёшь для чего он и за что отвечает

а вообще можно оставить всё как есть в браузере и менять только то что тебе нужно

В RFC есть почти все о том как оно должно быть, запросы заголовки и т.п., но там такая нудятина что сложно читать. Но потом приходят разрабы и лепят что могут на серверах, так что даже те же get post запросы иногда можно встретить в очень извращенных формах. Статусы для ответов тоже часто с потолка берут, и по факту они будут значить не то что в стандартах написано

ну хотяб что то) ссыль кинь плиз )

я блин пол дня как то трахался с логином на сайт, прям психовал и с нуля  переписывал, а всего то забыл передать сраный referer

2616 же

ты не будешь читать то что в рфс

Посмотри в вике по RFC, там много разных ссылок на разные стандарты и протоколы, выбирай какая нравится

попробую)

Подскажите - есть у меня реквестовая sess = requests.Session(), к ней потом добавляются заголовки, кукисы и прочее, как бы ее пошарить в пул multiprocessing, так, чтобы она передавалась с одинаковыми кукисами в функцию, по которой пробегает map, ну или шарилась между всеми запросами?
1. Я не очень понял - сессию создавать надо до или после строчки if __name__ == "__main__": - я пока создаю ее после, потом создаю уже with pool и пробегаюсь стармапом по пулу, если я ее создаю до - то все действия почему-то как-то непонятно повторяться начинают.
2. Можно ли сделать так (см. sess как третий аргумент для стармапа):

import itertools
with multiprocessing.Pool(4) as pool:
    cur_data = pool.starmap(get_cur_data, zip(repeat(same_arg), inside_links, repeat(sess)))

ну и внутри get_cur_data

r = sess.get(inside_link, verify=verify)
return r.text

я пока еще не знаю, взлетит или нет пункт 2, жду пока скрипт пробежится 😊

мде, ну вроде сработало, по-крайней мере логин и цена сниженная сохранились)

import itertools
with multiprocessing.Pool(4) as pool:
    cur_data = pool.starmap(get_cur_data, zip(repeat(same_arg), inside_links, repeat(sess)))

r = sess.get(inside_link, verify=verify)
return r.text

1. Конечно после, конструкция if name пишут для того, чтоб у тебя ничего левого не было во время импорта твоего скрипта, если ты что-то вызываешь до, то и смысла в этом ифе нет.
2. Не совсем понятно, что тут. Если тебе нужно просто статичиские данные передавать, то просто передавай. Если нужно как-то синхронизировать между процессами, передавай то, что может быть сразу в нескольких процессах https://docs.python.org/3/library/multiprocessing.html#sharing-state-between-processes

аа, ну мне в принципе без разницы эту сессию либо задублировать и дальше чтобы она в каждом подпроцессе жила своей жизнью, либо чтобы она была единая для всех - главное, чтобы логин, который я с трудом получил изначально -  сохранялся.

1. про if name в этом применении понятно, просто почему-то вообще этот мультипроцессинг без него не взлетает, надо будет подробнее почитать про эту магию.
2. я еще игрался там с Value, для счетчика, но что-то не захотело у меня это взлетать, так-что плюнул)

С пулами точно не подскажу как они там работают, я больше знаю про обычные процессы и форки

но надо будет еще поиграться - пока у меня там по  заветам ответа с 10 плюсами на стековере все-время орет "у тебя нету переменной counter" :
https://stackoverflow.com/questions/2080660/python-multiprocessing-and-a-shared-counter

а так прикольная конечно штука - сервак аж от натуги начал 429мы кряхтеть, пришлось выставлять pool size в 4.

Ну, с этим просто, тут зависит от того где у тебя объявление чего-то и где создаёться новый процесс, если объявление до разделения процесса, и эта переменная шэрэд памяти, тогда у обоих процессов будет к ней доступ. А если такую переменную создавать после разделения процессов, тогда она будет для каждого процесса своя.
Думай о форке процесса, как о создании полной копии текущего процесса, в момент создания это полностью идентичные копии, а дальше они расходятся.

Если бы у тебя были треды, а не процессы, тогда оно бы работало примерно так же, только было бы достаточно  простой глобальной переменной которая была бы в куче, а так как процессы полностью изолированы друг от друга, то им нужны общие области памяти, или другие методы коммуникации, чтоб они видели что-то общее.