В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

810 membersпожаловаться на группу
2021 January 30

i

i in Scrapy
хз
источник
08:31пожаловаться#1

i

i in Scrapy
источник
08:31пожаловаться#2

i

i in Scrapy
вот я запустил парсер- первый процесс это стартер паука. Так-что может быть зависит от того, как запускать
источник
08:32пожаловаться#3

i

i in Scrapy
И он сразу 1200 мегов отожрал. Ну и python процесс под ним еще 90. А больше питонопроцессов вне пичармы не показывает. Если он также запускает на xmx1024, явно у него там проблемки будут)
источник
08:35пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
Всё ещё непонятно как настройки JVM повлияют на процесс скрапи, но ок
источник
08:35пожаловаться#5

i

i in Scrapy
Ну хз, проверять надо. Мало ли там к примеру, в консоль пичармовую из-за этого вывод будет тормозиться)
источник
08:37пожаловаться#6

i

i in Scrapy
а хотя не - я ошибся, 1200 мегов сожрал это не паук, это сам пичарм и там просто открыт этот проект и он его в подпроцессах показывает. а скрапи это вот тот Python, что взлетает также под пичармой. Но все-равно не помешало бы проверить, вот!
источник
08:39пожаловаться#7

H

Harsh in Scrapy
Pycharm is full fledged ide, if you are constrained by ram consumption of it. Use vs condium ( comes with in built terminal ).
Otherwise just use sublime/any text editor with terminal, it gets most of job done
источник
09:02пожаловаться#8

AP

Alex Python in Scrapy
кто нить подкинет годную инфу, гайд по поводу post get запросов) ?А то я новичок в этом, трахаюсь по несколько дней с одним сайтом, а хочется за пол часа
источник
10:23пожаловаться#9

S

SoHard 🎄 in Scrapy
Alex Python
кто нить подкинет годную инфу, гайд по поводу post get запросов) ?А то я новичок в этом, трахаюсь по несколько дней с одним сайтом, а хочется за пол часа
какой-такой гайд?
источник
10:24пожаловаться#10

AP

Alex Python in Scrapy
SoHard 🎄
какой-такой гайд?
ну например какие заголовки важны какие нет,  или как понять что важно что нет, обход цикличного перенаправления (302) сайта на самого себя, или этой херни с 5 секундами от ddos атак
источник
10:27пожаловаться#11

S

SoHard 🎄 in Scrapy
открываешь вкладку Network в браузере и там всё написано, хедеры, куки, данные и тип запроса. Пытаешься сделать также удаляя лишнее
источник
10:27пожаловаться#12

S

SoHard 🎄 in Scrapy
Alex Python
ну например какие заголовки важны какие нет,  или как понять что важно что нет, обход цикличного перенаправления (302) сайта на самого себя, или этой херни с 5 секундами от ddos атак
какие заголовки важны какие нет - методом перебора узнаешь
источник
10:28пожаловаться#13

AP

Alex Python in Scrapy
😒а я не догадался , я так и делаю и трахаюсь по несколько дней )
источник
10:28пожаловаться#14

S

SoHard 🎄 in Scrapy
этой херни с 5 секундами от ddos атак - это не к запросам вопрос
источник
10:28пожаловаться#15

S

SoHard 🎄 in Scrapy
Alex Python
😒а я не догадался , я так и делаю и трахаюсь по несколько дней )
10 параметров пару дней перебираешь?
источник
10:29пожаловаться#16

AP

Alex Python in Scrapy
когда делаешь get запрос например aliexpress почему то первым делом запрос идёт на сторонний сайт
источник
10:30пожаловаться#17

AP

Alex Python in Scrapy
подсос инфу товаров видимо идёт
источник
10:30пожаловаться#18

S

SoHard 🎄 in Scrapy
Alex Python
когда делаешь get запрос например aliexpress почему то первым делом запрос идёт на сторонний сайт
ну сайт реверсить ты уж сам
источник
10:32пожаловаться#19

AP

Alex Python in Scrapy
передача куки между сайтами и ТД и тп , я понимаю что это многим просто как открыть калькулятор, но я хочу разобраться, а не тыкать рандомно пока все не получится
источник
10:36пожаловаться#20