мляха, у меня остатки могза вскипели 🤯
🤣

Мне нужна помощь, я хочу создать микросервис, который находит новости с разных сайтов по разным ключевым словам и записывает их в базу данных.
этот микросервис должен постоянно работать и искать новости
Можете ли вы посоветовать мне, как я могу это сделать?

разных сайтов, заданных заранее? или сайты он тоже должен искать?

заданных заранее

ну берёшь пишешь сервис

ну, тут еще овердохрена вопросов возникает. К примеру - на насколько актуальной инфа должна быть? К примеру, обновление раз в пару часов, а может надо "как только появилась новость - сразу должна запоститься".
Вообще, начинать надо с ТЗ. И похрен что это ты сам будешь писать (к примеру). Пишешь на бумажке что ты хочешь получить. Потом бробишь на мелкие задачки, потом  еще на более мелкие. И так пока сам не поймешь что делать.

после включения dupefilter_debug в settings
dupefilter/filtered': 22232  такая стата должна выдаваться в логе?

вообще, система "если не знаешь как сделать, попробуй разделить вопрос  на кучу мельких" спасает в 90% ситуациях

вроде еще в логе должны сыпаться сообщения что "урл дубликат..."

да, тоже читал про это, чет не вижу, странно

в DEBUG

тьфу

всмысле с этой настройкой в лог пишется каждый скипнутый урл, а не только первый

а стата всегда считается

да, в settings прописал
DUPEFILTER_DEBUG=True
чет не работает, странно

ну ищи первое сообщение

если настройка выключена, в нём будет написано включите :)

при старте паука?

при первом игнорированном урле, ну

как будто логов не читал, или у тебя логлевел не дебаг?