Size: a a a

2020 April 23

И

Илья in Scrapy
можно чуть чуть подробней ? item где то не там определяется ?
источник

AR

Andrey Rahmatullin in Scrapy
у тебя один объект item везде
источник

AR

Andrey Rahmatullin in Scrapy
если ты его поле поменял в одном месте, в другом месте оно тоже поменяется, потому что это один и тот же объект
источник

A

Andrii in Scrapy
okay, еще вопрос по selenium, --хедлес по другом рендерит страницу ? Потому что никак елемент не может в хедлес режиме найти :(\
источник

И

Илья in Scrapy
Andrey Rahmatullin
у тебя один объект item везде
на это и расчет, что  все поля заполнятся и произойдет запись в файл, а она получается сначало функция parse проходит полностью ,а потом к последнему результату её работы добавляется поле с fourth_floor. Это только часть проекта, вначале примерно такая же структура и ломается почему то на последней функции.
источник

AR

Andrey Rahmatullin in Scrapy
все поля это все два?
источник

И

Илья in Scrapy
Andrey Rahmatullin
все поля это все два?
их там что-то около 10
источник

AR

Andrey Rahmatullin in Scrapy
ну да, в цикле сначала итему заполняется первое поле, а потом вызывается несколько раз коллбэк, где заполняется второе
источник

И

Илья in Scrapy
до fourth_floor  все работало
источник

AR

Andrey Rahmatullin in Scrapy
а это потому что код случайно продолжал быть синхронным
источник

AR

Andrey Rahmatullin in Scrapy
потому проблема заметна не была
источник

AR

Andrey Rahmatullin in Scrapy
итем менялся и тут же выводился, а теперь он сначала несколько раз меняется, а потом несколько раз выводится
источник

И

Илья in Scrapy
В какую сторону копать ?
источник

AR

Andrey Rahmatullin in Scrapy
в понимание как работает передача объектов по референсу в языках, подобных питону
источник

AR

Andrey Rahmatullin in Scrapy
сильно прочищает мозги в этом плане SICP
источник

AR

Andrey Rahmatullin in Scrapy
(как конкретно этот код починить я тоже уже написал, но это ж код исправит, а не исходную проблему)
источник

AR

Andrey Rahmatullin in Scrapy
ещё можно нарисовать на бумажке в каком порядке что выполняется и что в каждый момент содержит наш единственный итем
источник

И

Илья in Scrapy
на бумажке как раз все красиво получалось, не понятно почему коллбэк вызывается после прохода всего цикла, а не на каждой его итерации. Это наверно со спецификой yield связано больше, она до сих пор для меня что то на уровне магии.
источник

AR

Andrey Rahmatullin in Scrapy
коллбэк вызывается в неопределённое время.
источник

AR

Andrey Rahmatullin in Scrapy
не надо на это завязываться
источник