Size: a a a

2020 June 25

К

Кирилл in Scrapy
😅
источник

i

ildar in Scrapy
Vladyslav Babych
Может транслятор можно подсунуть как-то?
кстати о птичках, если  у тебя есть повторяющиеся селекторы, к этому парселю, типа
response.css('asdf').css('lala')
response.css('asdf').css('hello')
- ты можешь наверно подрубить на вызов этой css lru_cache, получится что второй раз с тем же аргументами этой штуке не придется заново вычисляться. Хз правда сколько лишней памяти это нажрет.
источник

i

ildar in Scrapy
(а то вдруг ты там на гигабайте рама работаешь и начнутся танцы со свопом)
источник

VB

Vladyslav Babych in Scrapy
ildar
кстати о птичках, если  у тебя есть повторяющиеся селекторы, к этому парселю, типа
response.css('asdf').css('lala')
response.css('asdf').css('hello')
- ты можешь наверно подрубить на вызов этой css lru_cache, получится что второй раз с тем же аргументами этой штуке не придется заново вычисляться. Хз правда сколько лишней памяти это нажрет.
Я наверное на селектолас буду переделывать
источник

i

ildar in Scrapy
а у тебя есть вообще такого типа селекторы, как я описал?
источник

i

ildar in Scrapy
с условным вызовом ('asdf') по 2 раза? просто с одной стороны  тут тебе все переписать, а с другой один декоратор добавить)
источник

VB

Vladyslav Babych in Scrapy
ildar
с условным вызовом ('asdf') по 2 раза? просто с одной стороны  тут тебе все переписать, а с другой один декоратор добавить)
Не
источник

A

Andrii in Scrapy
Как скрапи лог сохранить в ТХТ ?
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Как скрапи лог сохранить в ТХТ ?
вместо экрана в файл лить?
источник

К

Кирилл in Scrapy
Как любой лог сохранить в файл?
источник

МС

Михаил Синегубов... in Scrapy
—logfile=blablabla.log
источник

A

Andrii in Scrapy
Михаил Синегубов
вместо экрана в файл лить?
И екран и в тхт
источник

A

Andrii in Scrapy
import logging
from scrapy.log import ScrapyFileLogObserver

logfile = open('testlog.log', 'w')
log_observer = ScrapyFileLogObserver(logfile, level=logging.DEBUG)
log_observer.start()
источник

A

Andrii in Scrapy
такое?
источник

МС

Михаил Синегубов... in Scrapy
ааа, иш чего захотел...
я хз :)
источник

A

Andrii in Scrapy
думал может в сеттингс просто можно указать что сохранять еще в тхт
источник

К

Кирилл in Scrapy
Можно
источник

A

Andrii in Scrapy
только такое нашел
import logging

class AbcSpider(scrapy.Spider):
   name: str = 'abc_spider'
   start_urls = ['you_url']
   custom_settings = {
        'LOG_FILE': 'my_log.log',
        'LOG_LEVEL': 'INFO',
        ... # you can add more settings
    }
    logging.getLogger().addHandler(logging.StreamHandler())

    def parse(self, response):
       pass
источник

GO

Google OS in Scrapy
Всем привет можете помочь
источник

К

Кирилл in Scrapy
Andrii
только такое нашел
import logging

class AbcSpider(scrapy.Spider):
   name: str = 'abc_spider'
   start_urls = ['you_url']
   custom_settings = {
        'LOG_FILE': 'my_log.log',
        'LOG_LEVEL': 'INFO',
        ... # you can add more settings
    }
    logging.getLogger().addHandler(logging.StreamHandler())

    def parse(self, response):
       pass
почитай про логинг в пайтоне
источник