это питоний None

Спасибо.

.get() в данном случае его вернул, видимо

Это я что-то делают не так, или heroku postgres полная фигня? Решил прикрутить БД в скрапи. В pipelines>process_item пишу в базу каждый item. С учетом нормализации данных и раскидывания их по таблицам получается 11 SQL-запросов на 1 item. Крейсерская скорость скрапинга без SQL - 650 items/sec. Когда пишу в локальный SQL postgres - 500 items/sec. А когда пробую в heroku postgres - 0.2 (!!) items/sec. То есть 11 последовательных SQL запросов в heroku занимают 5 секунд. Никакие deferToThread и celery тут не помогут, потому что скорости не сопоставимы. Вопросы: 1. Это нормальный перфоманс удаленной SQL бд? 2. Какая правильная архитектура скидывания в базу? Может надо дождаться окончания работы паука и потом пытаться это скидывать это bulk запросом? Может не надо делать никаких нормализаций, а просто тупо писать одну новую строку в базу, а дальше отдельными процессами делать нормализацию?

Балк запись точно стоит использовать

Спасибо! А как это правильно сделать изнутри скрапи? Писать в feed jsonlines например, а потом из close_spider в pipeline пытаться открыть локальный файл jsonlines и оттуда писать балком?

Где-то в настройках задаешь размер пачки, потом в пайплайне или где ты там пишешь, создаешь список, и проверяешь, если количество айтемов такое же как размер, тогда делаешь запись в бд, а если меньше тогда добавляешь айтем в список

И по закрытию паука, тоже записываешь остаток, чтоб хвост не терялся

По хероку не подскажу, не пользуюсь им, скорость конечно же маленькая, но может быть это нормально для хероку

Про пачку только тут видел:

If assigned an integer number higher than 0, Scrapy generates multiple output files storing up to the specified number of items in each output file.

Это оно?

Это для встроенных фид экспортеров, можешь взять это название настройки, но чтоб она работала, тебе еще нужно будет реализовать саму логику. А так можешь взять любое название

А, понял, то есть всю логику я сам реализовываю. Грубо создаю лист айтемов в pipelines>process_items, куда сую каждый новый прилетающий айтем. Как только в листе накопилось Х айтемов - пишу балком в SQL через deferToThread. Так?

да

Спасибо!!

У кого сплеш стоит можете помочь? Сплэш справиться с таким? https://km20.ru/ Сделайте запрос кто-то

я делаю у меня не идет, мб во мне дело аахахах

если влоб то там какая-то антибот страница вернулась с джсом, надо как минимум ждать чтоб оно отработало и редиректнуло