мне кажется если на github поискать, то там можно найти абсолютно ВСЁ! Ну конечно там не будет кода который решает Вашу задачу 1 в 1, но можно найти хорошую заготовку в которой внести минимум изменений. ИМХО

Здавствуйте, я в скрапере собираю структуру что-то вроде:

yield {
    'id' : ...
    'name': ...
    'reviews': [
        ...
    ]
}

Но чтоб собрать отзывы (reviews) мне нужно их как-то забрать у функции которая тоже ходит по пагинации. Ну то есть yield-ит либо 1 review либо yield-ит новую ссылку для скачивания следующих review

Как мне это организовать? Нужно ли разбивать на 2 скрапера может? Если да - будут ли у них общие куки?

Либо просто направьте как такой, не совсем тривиальный пример

yield {
    'id' : ...
    'name': ...
    'reviews': [
        ...
    ]
}

Scrapy Items

Хм. Что-то до этого места не дочитал. Сейчас гляну

yield {
    'id' : ...
    'name': ...
    'reviews': [
        ...
    ]
}

Забирать не нужно, передавай данные в следующий калбэк через https://docs.scrapy.org/en/latest/topics/request-response.html#passing-additional-data-to-callback-functions

Собираешь базовые данные, передаёшь в калбэк нужного реквеста, в котором добавляешь дополнительные данные и йелдишь

ага, я понял что я часть документации не прочитал. Спасибо что направили

есть вот такой кусок кода:

def _extract_phones(self, itemID):

        get_phone = 'https://site.ru/api/1/items/%s/phone?key=%s' % (itemID, X_KEY)
        yield scrapy.Request(get_phone, callback=self._ex_phones)

    def _ex_phones(self, response):
        r2 = response
        self.logger.info(":R2: "+ str(r2))
        if not 'code": 403' in r2.text and r2.status_code == 200 and 'call?number=' in r2.text:
            num = r2.text.replace('%2B', '+').split('call?number=')[1].split('"')[0]
        else:
            num = "нет данных"
        return num

почему он возвращает <generator object ??

что ещё ему возвращать?

да но ведь там есть callback и судя по примерам должно обрабатіваться и получаться тело ответа

не знаю о чём ты

_extract_phones() возвращает генератор

ок, как тогда выполнить запрос и получить ответ?

понятия не имею, остального кода-то не видно

если _extract_phones сделан генератором по ошибке, просто поменять в нём yield на return

ага, попробую

теперь выходит просто сформированый гет-запрос. А как получить от него ответ, тело?

читал, все равно не понятно как это применить. Запрос у меня ж получился.
Почему он не выполняется?