В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

phpGeeks

4347 membersпожаловаться на группу
2020 July 31

D

Dr.Padre in phpGeeks
Trafik Apostle
что делать, если надо спарсить 100.000 страниц?
rolling curl и пошел
источник
17:29пожаловаться#1

V

Vladimir in phpGeeks
Trafik Apostle
что делать, если надо спарсить 100.000 страниц?
Многопоток
источник
17:29пожаловаться#2

TA

Trafik Apostle in phpGeeks
Vladimir
Многопоток
забанят
источник
17:30пожаловаться#3

D

Dr.Padre in phpGeeks
Vladimir
Многопоток
собстно либа это и делает, причем довольно хорошо )
источник
17:30пожаловаться#4

D

Dr.Padre in phpGeeks
Trafik Apostle
забанят
меняй UA и подключи прокси список
источник
17:30пожаловаться#5

TA

Trafik Apostle in phpGeeks
капча на 80% проксей вылазит. пробовал
источник
17:31пожаловаться#6

LN

Lee Nar in phpGeeks
Dr.Padre
меняй UA и подключи прокси список
А можно UA поменять на RU?
источник
17:31пожаловаться#7

D

Dr.Padre in phpGeeks
Trafik Apostle
капча на 80% проксей вылазит. пробовал
тогда на вопрос "что делать" могу ответить "плакать"
источник
17:31пожаловаться#8

V

Vladimir in phpGeeks
Trafik Apostle
капча на 80% проксей вылазит. пробовал
Понемногу
источник
17:31пожаловаться#9

LN

Lee Nar in phpGeeks
)
источник
17:32пожаловаться#10

D

Dr.Padre in phpGeeks
UA -User Agent , но я понимаю шутку
источник
17:32пожаловаться#11

D

Dr.Padre in phpGeeks
Lee Nar
А можно UA поменять на RU?
разве что войной
источник
17:32пожаловаться#12

TA

Trafik Apostle in phpGeeks
6 страниц 1000 вкладок на каждой и на каждой вкладке 10 блоков инфа в блоках(их надо тоже открыть).Делаю с помощью selenium и sleep.
источник
17:34пожаловаться#13

D

Dr.Padre in phpGeeks
Trafik Apostle
6 страниц 1000 вкладок на каждой и на каждой вкладке 10 блоков инфа в блоках(их надо тоже открыть).Делаю с помощью selenium и sleep.
звучит как говно
источник
17:34пожаловаться#14

TA

Trafik Apostle in phpGeeks
50 часов
источник
17:34пожаловаться#15

TA

Trafik Apostle in phpGeeks
одна вкладка
источник
17:34пожаловаться#16

V

Vitaly in phpGeeks
Dr.Padre
rolling curl и пошел
The documentation for curl_multi is very obtuse and, as such, is easy to incorrectly or poorly implement  - хорошо написано )
источник
17:35пожаловаться#17

TA

Trafik Apostle in phpGeeks
интернет дай бог 1миб
источник
17:35пожаловаться#18

D

Dr.Padre in phpGeeks
Vitaly
The documentation for curl_multi is very obtuse and, as such, is easy to incorrectly or poorly implement  - хорошо написано )
а то
источник
17:35пожаловаться#19

TA

Trafik Apostle in phpGeeks
парсер на python написан
источник
17:35пожаловаться#20