А так можно?  response.css('.page_index li')

Похоже там html ломаный, поэтому тупит

да, похоже на то)))ладно, обойду все элементы на странице. Спасибо

как поднять бабла на скарпинге? что пользуется спросом?

как вы зарабатываете, сами клиентов ищите или даете рекламу, сайт имеете?

ну, "поднять бабла" не получится. Точнее по быстрому не получится.
В начале придется в....вать до чертиков по углам, потом будет база знаний и появятся постоянные клиенты.

продавать базы в своем магазине опасно? авторское право предъявят и пр.?

если парсить авито там, крупные магизины

телефоны - это не совсем законно, а все остальное - что оттуда может быть полезным?

Заказчику нужно в определённый момент определённые актуальные данные

Авито через неделю будет совсем с другими данными

Сделай сайт мониторинга цен

таких уже штук 15

Ой всё, тогда лучше не надо

https://www.bigdataball.com

Посмотри в сторону спортивной статистики

ок, спасиб

Кстати да. Тема, которая может прям "выстрелить" на ум придет далеко не многим. Ещё меньше ее реализуют  Самое ржачное, что смотришь потом, и думаешь: "мля, насколько элементарно"...
Никогда не забуду разговоры со знакомцем на тему, надо бы придумать такую срань, что бы сайт из кирпичиков собирать. Лет через 10 я узнал что такое cms и фреймворки. А у нас, дальше п...лей за выпитое пиво от его жены, не дошло😂

На меня такая апатия напала, когда месяц назад читал статью про сервис, который пять лет назад сам начинал делать с такой же идеей, но обламался. Еще и в заголовке интервью такие слова "Почему-то никто до нас не сделал"

о дааааа, это самый фарш....
у меня есть один проект сейчас, нахрен никому не нужен.... Хотя, сугубо теоретически, может "выстрелить". Или не выстрелить. Это уже как повезет.

Кстати, еще лирическое отступление. Не знаю как сейчас, но раньше, во вконтактике можно было друзей накрутить. Коннектишся в игрушку, заходишь в группу по игре, там типа тема "взаимная дружба".
Так один "пионер", сев за программирование с месяц как (я его консультировал) выпустил "супер-пупер софт" который ахренительно накручивает друзей.
Все что было, в начале в софте:
1. обычный поиск
2. обычная постилка по обсуждениям.

Эта зараза, несколько сотен точно подняла 😂

больше скажу, взял чувак написал сайт для общения одногруппников