что ж там геморного, на крайняк можно селениум под скрапи запихнуть и там уже качать файлы и делат то где можно без селениума обойтись

ребят,  есть url из след частей:

https://www.ingersollrand.com/en-us.html
['/en-us/air-compressor.html', '/en-us/power-tools.html', '/en-us/lifting-equipment-material-handling.html']

мне нужно добавить след путь /products/ к концу урла, т.е на выходе получить такой урл,  

https://www.ingersollrand.com/en-us/air-compressor/products.html

думаю над вариантом с лист копрехеншеном, но не хочется изобретать свой велосипед,
мб есть уже готовые либы с помощью которых получится безболезненно получить урл?
есть urljoin, но думаю не совсем подходящий вариант.

https://www.ingersollrand.com/en-us.html
['/en-us/air-compressor.html', '/en-us/power-tools.html', '/en-us/lifting-equipment-material-handling.html']

https://www.ingersollrand.com/en-us/air-compressor/products.html

Почему нет?

urljoin?

Да

Не подскажите ,как ускорить парсинг на selenium?

Более мощное железо и параллельные вызовы

печально

urljoin принимает base, url

>>> for url in urls:
...     urljoin(start_url, url)
...     
... 

'https://www.ingersollrand.com/en-us/air-compressor.html'
'https://www.ingersollrand.com/en-us/power-tools.html'
'https://www.ingersollrand.com/en-us/lifting-equipment-material-handling.html'

получаю на выходе это, как еще products/ прилепить в конце ?

но ведь тз некорректное

из "добавить след путь /products/ к концу урла" никак не получится "/air-compressor/products.html"

да, получится каша, @trefto подсказал вариант с replace.

не подскажите ,как записывать данные в два разных excel файла?

Тут есть пример распределения в разные файлы в пайплайне https://docs.scrapy.org/en/latest/topics/exporters.html#using-item-exporters

Что опять заказ не "идёт"?

Хватит это мусолить

В каких случаях нужно использовать Selenium или bs4, вместо scrapy? Заранее спасибо

в bs4 можно на коленке что-то быстро спарсить (одну страничку например) без создания проекта, паука, просто в интерактивном python тип jupiterlab.

Селениум и бс и скрапи это вообще все разные вещи

Селениум только в самых крайних случаях, когда данные генерирует js, не подгружает, а генерирует, или очень сложные авторизации для api, которые легче от имени браузера сделать.
bs4 я бы использовал только для изменения html, в остальных проектах где скрапи слишком громоздок ставлю parsel от скрапи т.к. привык уже