Size: a a a

2020 June 11

SS

Stepan Smirnov in Scrapy
Andrey Rahmatullin
питон второй что ли?
нет, 3й
источник

AR

Andrey Rahmatullin in Scrapy
тогда смотри на какой строчке эксепшен и думай
источник

SS

Stepan Smirnov in Scrapy
Кирилл
Или можешь включить миделвер кэша, он тоже будет сохранять респонсы
там тоже ошибка из за кодировки и сохраненный результат ломается
источник

SS

Stepan Smirnov in Scrapy
Andrey Rahmatullin
тогда смотри на какой строчке эксепшен и думай
это знак валюты (индийская рупия). Можно как то этот символ пропустить а все остальное записать?
источник
2020 June 12

AR

Andrey Rahmatullin in Scrapy
Не надо ничего пропускать, надо файл открывать в утф8, а не в дефолтной кодировке ос
источник

r

r4khic in Scrapy
Получаю такую корявую кодировку с помощью реквеста от этой ссылки https://www.rusbonds.ru/nwsinf.asp?id=5257552 там в тексте получатеся вот такие кракозябры îæèäàþòñÿ âûïëàòû êóïîííûõ äîõîäîâ как определить к какой кодировке эти кракозябры относятся?
источник

AR

Andrey Rahmatullin in Scrapy
Это в response.text?
источник

r

r4khic in Scrapy
+
источник

r

r4khic in Scrapy
я знаю как решить мне надо указать кодировку в рекветс,но чтобы указать надо знать какая кодировка приходит
источник

r

r4khic in Scrapy
по этим кракозярбрам не понятно какая кодировка приходит  îæèäàþòñÿ âûïëàòû êóïîííûõ
источник

МС

Михаил Синегубов... in Scrapy
Заголовки что говорят?
источник

r

r4khic in Scrapy
ничего такого полезного
источник

МС

Михаил Синегубов... in Scrapy
Обычно в заголовке кодировка ответа есть
источник

AR

Andrey Rahmatullin in Scrapy
r4khic
я знаю как решить мне надо указать кодировку в рекветс,но чтобы указать надо знать какая кодировка приходит
Где ты ее указывать собрался?
источник

r

r4khic in Scrapy
не так выразился я
источник

r

r4khic in Scrapy
то есть я буду использовать  .encoding
источник

AR

Andrey Rahmatullin in Scrapy
Вообще смотришь на байты и думаешь, ну или сразу юзаешь chardet
источник

r

r4khic in Scrapy
все спасибо за наводку
источник

S

SoHard 🎄 in Scrapy
вопрос к тем кто парсил 2gis, там при запросе следующей страницы с списком компаний есть параметр ('r', '2645086029') как он генерится?
источник

f

fatklass in Scrapy
есть кто с опытом использования scrapyd\scrapydweb?
источник