что добавлять?

первьій цьікл закончился на 50, а я хочу что б другой продолжил добавлять нумерацию 51,52,53...

учитывая что ты знаешь, что enumerate принимает начальное значение, в чём вопрос?

Если я правильно понял, можно попробовать добавить это https://docs.python.org/3/library/itertools.html#itertools.chain.from_iterable

Загружать видеофайлы средствами scrapy - очень плохая затея.
scrapy не умеет streaming. Для загрузки каждого файла средствами scrapy понадобится что бы файл целиком поместился в оперативную память (с учетом особенностей реализации некоторых частей scrapy - 2 или даже 3 раза).
И, соответственно, в случае параллельной загрузки нескольких файлов потребление оперативной памяти также пропорционально увеличится.
Видимо именно поэтому в новом pipeline появился get из requests в режиме streaming=True (что бы предотвратить перерасход оперативной памяти).
Так как тут используется вызов синхронного requests.get внутри асинхронного scrapy - соответственно requests.get остановит приложение до момента полной загрузки файла.

Тогда ковыряться с deferToThread наверно

Благодарю за ответы, действительно, когда начал переопределять методы класса FilesPipeline(MediaPipeline), стартануло несколько скачиваний, но и потребление памяти возросло.

А если стартовать несколько спайдеров, где в каждом будет стриминг загрузка внутри

https://stackoverflow.com/questions/39365131/running-multiple-spiders-in-scrapy-for-1-website-in-parallel

Если тред один, то не поможет

Помогите, пожалуйста! Хочу сделать парсинг, но перед этим нужно заполнить форму. Как реализовать это?

Селениум

ну да, самое простое это selenium webdriver

ибо requests для новичка слишком сложно )

Всем привет, как можно вставить теги в респонс.текст? Мне нужно дополнить список в конце и сделать скриншот нового html

кстати, у меня возникал вопрос, можно ли под селениумом логиниться допустим на сайте, сохранять куки и подсовывать его requests?  чтоб обходить капчу   и прочий шифрогемор при логине

Можно

Просто сохрани куки с селениума и подсунь респонсу

Но думаю сделать логин реквестом проще

😂 так точно капитан )

сделай ) мне на payeer надо )))

там какая то шифрохрень