Телеграмм чат группы chatpython страница 1482

Всем привет! Стоит такая задача. Имеется файлы, в которых кол-во строк доходит до 100к. В каждой строке есть значения, которые нужны для составления url'a, чтоб делать запрос по этому url'у и парсить некие данные. В этой задаче важна скорость выполнения. И появилась идея использовать потоки или процессы. Что лучше использовать? Потоки или процессы?

источник

21:33пожаловаться #9

А

Андрей in Python

Evgeniy

Всем привет! Стоит такая задача. Имеется файлы, в которых кол-во строк доходит до 100к. В каждой строке есть значения, которые нужны для составления url'a, чтоб делать запрос по этому url'у и парсить некие данные. В этой задаче важна скорость выполнения. И появилась идея использовать потоки или процессы. Что лучше использовать? Потоки или процессы?

я так понимаю 100к ссылок на один сайт?
тогда тебе не помогут ни потоки ни процессы.
5 запросов в секунду на сайт это максимум что позволит вежливость в интернете.
а это можно из в один поток организовать, ну максимум в 3

источник

21:39пожаловаться #10

E

Evgeniy in Python

Андрей

я так понимаю 100к ссылок на один сайт?
тогда тебе не помогут ни потоки ни процессы.
5 запросов в секунду на сайт это максимум что позволит вежливость в интернете.
а это можно из в один поток организовать, ну максимум в 3

будут прокси

источник

21:39пожаловаться #11

E

Evgeniy in Python

можно через Tor запросы пропускать

источник

21:39пожаловаться #12

А

Андрей in Python

Evgeniy

будут прокси

ты положишь сайт, а это плохо, не буду тебе советовать ))

источник

21:39пожаловаться #13

E

Evgeniy in Python

Андрей

ты положишь сайт, а это плохо, не буду тебе советовать ))

не) я так не думаю) свой инет не позволит такое сделать))

источник

21:40пожаловаться #14

E

Evgeniy in Python

100к это самое больше что я видел в этих файлах. а так, по 10к-20к строк

источник

21:41пожаловаться #15

E

Evgeniy in Python

редко когда 100к строк появляется

источник

21:41пожаловаться #16

А

Андрей in Python

в общем я хз как тебе многопоточно считать из файлов одновременно.
я бы загнал это всё сначала в список (или в БД) а потом натравил scrapy, она умеет и прокси и многопоточность и спляшет при этом

источник

21:43пожаловаться #17

2020 July 15

KK

Kenenbaeva Karlygach in Python

Всем привет. Подскажите, пожалуйста, как вывести общую сумму цикла while

источник

00:45пожаловаться #18

AK

Alexey Kondratenko in Python

Kenenbaeva Karlygach

Всем привет. Подскажите, пожалуйста, как вывести общую сумму цикла while

Дополнительную переменную создаёшь sum = 0 перед циклом и в неё сумму записываешь sum+=1

источник

02:54пожаловаться #19

SD

Sergey D in Python

Андрей

в общем я хз как тебе многопоточно считать из файлов одновременно.
я бы загнал это всё сначала в список (или в БД) а потом натравил scrapy, она умеет и прокси и многопоточность и спляшет при этом

открыть все файлы и сджойнить file objects в один большой итератор. Доступ будет аналогичен выборке из базы, и в памяти займет меньше места чем список

источник

14:22пожаловаться #20