В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

530 membersпожаловаться на группу
2020 July 08

К

Кирилл in Scrapy
Взять профайлер и посмотреть утечки, чего гадать. Скорее всего скрапи это не касается, просто код много в памяти хранит
источник
08:59пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
Угу
источник
09:04пожаловаться#2

S

SoHard 🎄 in Scrapy
немного не по скрапи, в коде страницы есть json
но он в виде %7B%22geo%22%3A%7B%22id%22%3A621540%2C%22...
источник
12:48пожаловаться#3

S

SoHard 🎄 in Scrapy
как я понял там кодировка 1251, но яхз как перекодировать в нормальный вид
источник
12:48пожаловаться#4

S

SoHard 🎄 in Scrapy
json.loads() на такую строку возвращает эту же строку))
источник
12:48пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
При чем тут 1251, это урл эскейпы
источник
12:49пожаловаться#6

К

Кирилл in Scrapy
Это не кодировка, это эскейп урл
источник
12:49пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
Где именно это лежит в странице?
источник
12:49пожаловаться#8

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
Где именно это лежит в странице?
в теге скрипта
источник
12:50пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
Показывай
источник
12:50пожаловаться#10

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
Показывай
источник
12:51пожаловаться#11

К

Кирилл in Scrapy
SoHard 🎄
немного не по скрапи, в коде страницы есть json
но он в виде %7B%22geo%22%3A%7B%22id%22%3A621540%2C%22...
http://www.utilities-online.info/urlencode/?save=6a1f9f5b-0958-40ff-a544-1390772f64c6-urlencode#.XwWXHx5n2yU
источник
12:51пожаловаться#12

S

SoHard 🎄 in Scrapy
Кирилл
http://www.utilities-online.info/urlencode/?save=6a1f9f5b-0958-40ff-a544-1390772f64c6-urlencode#.XwWXHx5n2yU
онлайн я и сам нашёл, мне это в python надо, чтобы json.loads() схавал
источник
12:54пожаловаться#13

К

Кирилл in Scrapy
https://docs.python.org/3/library/urllib.parse.html#urllib.parse.unquote
источник
12:55пожаловаться#14

S

SoHard 🎄 in Scrapy
Кирилл
https://docs.python.org/3/library/urllib.parse.html#urllib.parse.unquote
да я только хотел отписать что нашел, спасибо
источник
12:55пожаловаться#15

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
При чем тут 1251, это урл эскейпы
спасибо за наводку
источник
12:56пожаловаться#16

D

Dr. Bot in Scrapy
у кого macOS не обновляйтся через brew питон. сменили версию с 3.7 на 3.8. сдохли все venv и модули
источник
13:03пожаловаться#17

К

Кирилл in Scrapy
Используй pyenv
источник
13:07пожаловаться#18

D

Dr. Bot in Scrapy
юзал. он потом год или два не обновлялся. перешел на venv, а сейчас brew удалил 3.7 из системы при апдейте. и сдохли все venv ) в общем весело как всегда. надо наверное через докер запускать
источник
13:09пожаловаться#19

К

Кирилл in Scrapy
pyenv и venv,  это разные штуки, наверное ты про pipenv говоришь? Хотя и то, и то регулярно обновляется
источник
13:11пожаловаться#20