для старта:
https://stackoverflow.com/questions/46339263/scrapy-get-start-urls-from-database-by-pipeline
https://stackoverflow.com/questions/38658491/scrapy-generate-url-from-database

в довесок скажу
1. надо скрестить оба метода. Тогда при 10 млн записях можно по 1000 ссылок дергать
2. статус меняешь в пайпе. Можно отдельными айтемом, можно тем же.

ну и, это все не истина последней инстанции. Но у меня такая связка (чуток проработанная) успешно работает на десятках млн записях и норм.
По хорошему, если у тебя сотни тысяч ссылок, то надо либо свой дупфильтр делать, либо отключать его нахрен, если он не актуален. Ибо нахрен все это хранить в мозгах

А я другой костыль хреначил....

    def start_requests(self):
        for i in range(0, 100):
            url = get_url_from_db()
            yield scrapy.Request(url=url, callback=self.parse_offers, dont_filter=True)

rabbitmq_helper - я так понимаю, человеку надо с кроликом еще разбираться? ничего не имею против его, но, по моему, надо до него дорасти, на не кидаться бездумно в кучу всего нового. Мозг вскипит
ну и, тут не понятно как поступать с 7кк записями, все их всасывать сразу?

я не против твоего метода, просто хз, надо ли сразу такое человеку. По моему, надо дорастать до решений.

да я не хотел что б вы на кролика зациклились, просто способ сбросил

1. запись в базе можно по ссылке искать (может и "тяжелее" чем по целому числу, но менее геморойнее)
2. на всех записях статус = 0
3. получаешь 1000 записей, ставишь и "1"
4. при сохранении данных в ту же таблицу ставишь статус "2"
5. в spider_idle получаешь след. 1000 записей и генеришь DontCloseSpider, если записи получил из базы
6. кстати, обрати внимание, как реквесты в добавляются в очередь по второй ссылке

по поводу 7кк записей сразу точно не стоит, да и вообще по мне это не малый объём данных, нужно обезапашивать парсинг что б не отвалилось ничего и по новой не распаршивать

Могу в личку написать ?

а нахрена? Или там пентагоновские тайны?
может переписка кому и пригодится. А если боишься глупые вопросы задать, так чего я только не видел. 😂
Ну и, может кто чего более полезного посоветует

У меня вообще 2 варианта в голове.
Первый это использовать inmemory хранилище типа redis, импортировать туда все записи, и по 1 доставать. Но тогда теряется отказоустойчивость.
Второй, это брать по 100 записей, менять статус на running, вытащить данные, поставить complete. В случае закрытия паука я потом продолжу с того-же места

только вот я не до конца понимаю жизненный цикл скрапи похоже