а как это сделать?

почитай ридми у scrapy-splash, там есть примеры со скриптами

splash.images_enabled = false; спасибо

с чего бы это

а можно для конкретного запроса отключить использование кэша, при этом оставить его для всех остальных в пауке?

dont_cache в мете запроса, или Cache-Control

еще разок тупой вопрос по кодировкам
Санкт-Петербург, Приморский пр-т, 137к2

как эту срань сделать нормальной

Смотря как получал

Я пытаюсь вытащить ссылки на все товары со страницы
https://www.abenaonline.no/Products.aspx?ProductGroupId=115000001000002520

Для пагинации спользую скрипт на lua:
lua_pagination = """
function main(splash, args)
 -- visit each page of pagination
 assert(splash:go(args.url))
 assert(splash:wait(2))

 result = {}

 -- find max page number
 max_page = splash:select_all("select>option")
 max_page = tonumber(max_page[#max_page]:text())

 for i=1,max_page do
   result[i] = splash:html()
   next_btn = splash:select("td[style='width: 85px; text-align: right;']>a")
   next_btn:mouse_click()
   splash:wait(4)
 end
 return result
end
"""

передаю его в запрос
yield SplashRequest(
   url=response.urljoin(subcategory)
   , callback=self.parse_pagination
   , endpoint='execute'
   , args={'lua_source': lua_pagination, 'timeout': 90}
)

В функцию parse_pagination приходит SplashJsonResponse, текст html кода страниц содержится в response.data[key]. Но содержится в виде str и методы вроде .xpath/.css к нему не применимы. Как из такого текста можно сделать обычный response (или просто получить возможность применять к нему стандартные методы из response)?

создать Selector, передав его

from scrapy.selector import Selector
Selector(text= response.data[key]).xpath("").get()?

Типа того

Всем привет. Небольшой оффтоп но по скрапи)) Кто-то знает хорошую книгу или видеокурс по скрапи?

Ты же уже спец, зачем тебе?)

Не не, я говнокодер, мне нужно постоянно совершенствоваться

Все материалы которые видел, для самых начинающих. Дальше только исходники читать и само программирование учить

Прикол программухи: чем сложнее задачи - тем меньше инфы

Сам же скрапи простой, а сложности возникают обычно уникальные, как у тебя с ssl

А есть способ писать логи в logstash?