если заказ, то https://t.me/scrapy_jobs

а шо, если так просто list'aми в yield бросаться - он его правильно развернет что-ли? Там точно не нужен цикл for?

где вы видите for?

и шо за коллбек в кавычках. хотя я с linkextractor не работал

я предполагаю его наличие где-то около yield

Зачем?

Эм. А все работает?

Если все работает, тогда незачем

кто работал с item_loader?

поставь whl твистед уже скомпиленый, остальное само подтянется

пожалуйста, сразу вопрос, без наводки

если я правильно понимаю то у сайтов enu.kz и fit.enu.kz разная структура, соответственно заходишь вначале на enu.kz, достаешь оттуда ссылку на каждый факультет и вызываешь отдельную функцию колбек для обработки страницы факультета (вот они уже вроде однотипные)

колбак в Rule надо прописать и отдельно прописать метод для нее?

ну там написано где проблема, в aiomysql

хз я никогда не пользовался linkextractor, мне кажется это не тот случай когда он нужен. не надо пытаться сделать универсальную функцию обработчик, раз у тебя сайты разные то и обработчики отдельно надо

что-то типа

start_urls = ['enu.kz']

def parse(self, response):
   faculty_links = response.xpath(...)
   for url in faculty_links:
         yield scrapy.Request(url, callback = process_faculty)

def process_faculty(self, response):
   do_smth

ну общая схема такая а там смотри по ситуации смотря что тебе в итоге надо, если надо зайти на определенную страницу на сайте факультета то соответственно делаешь отдельный обработчик для этой страницы

прикольно, callback в rule таки в кавычках: https://docs.scrapy.org/en/latest/topics/spiders.html#crawlspider-example

ну да, а как его ещё ловить? рул - атрибут класса, как и методы

т.е. методов в этом месте ещё нет, и селфа нет

нормальный питонизм, в орм такое постоянно

почекай примеры в документации, это тривиальная схема работы там должны быть примеры