Size: a a a

R (язык программирования)

2021 March 16

БА

Байкулов Антон... in R (язык программирования)
Подскажите, пожалуйста, чтобы парсить с сайта на react нужно RSelenium? rvest же не осилит?
источник

AP

Aleksandr Pidtykan in R (язык программирования)
Байкулов Антон
Подскажите, пожалуйста, чтобы парсить с сайта на react нужно RSelenium? rvest же не осилит?
RSelenium как правило только для динамических страниц используют
источник

EP

Ed P in R (язык программирования)
мне кажется, для начала нужно на страницу посмотреть
источник

БА

Байкулов Антон... in R (язык программирования)
Ed P
мне кажется, для начала нужно на страницу посмотреть
источник

БА

Байкулов Антон... in R (язык программирования)
Aleksandr Pidtykan
RSelenium как правило только для динамических страниц используют
React это вроде про динамику как раз
источник

AP

Aleksandr Pidtykan in R (язык программирования)
Байкулов Антон
React это вроде про динамику как раз
React - это js библиотека, на котором возможно написана нужная страница, но это ничего не говорит а типе страницы
источник

БА

Байкулов Антон... in R (язык программирования)
А что говорит о типе страницы?
источник

AP

Aleksandr Pidtykan in R (язык программирования)
Байкулов Антон
А что говорит о типе страницы?
Данные на странице меняются а сам адрес не меняется - это динамическая страница
источник

БА

Байкулов Антон... in R (язык программирования)
🤔Изначально - да. Но на сайтах с react спецом пишут правила для url, чтобы они менялись. Seo там всякое + навигация.
источник

EP

Ed P in R (язык программирования)
У меня страница норм загрузилась. Только Похожие товары динамические и через rvest не подгрузятся
источник

БА

Байкулов Антон... in R (язык программирования)
там весь body вроде как на js формируется. По крайней мере через rvest тег body отдаёт в содержимом js-код
источник

БА

Байкулов Антон... in R (язык программирования)
Ed P
У меня страница норм загрузилась. Только Похожие товары динамические и через rvest не подгрузятся
Вообщем RSelenium да?
источник

AS

Alexander Semenov in R (язык программирования)
Alexander Semenov
Божечки-Кошечки! 🤦🏻‍♂️ Тут код не для слабонервных.
Тут, кстати, интересное выяснилось. Такой способ формирования запроса его ломает. Даже если строку с запросом в браузер вставить, возвращается ровно та же ошибка. А вот curl возвращает то, что надо. Не подскажете, в какую сторону тут курить надо?
источник

AS

Alexander Semenov in R (язык программирования)
Alexander Semenov
Тут, кстати, интересное выяснилось. Такой способ формирования запроса его ломает. Даже если строку с запросом в браузер вставить, возвращается ровно та же ошибка. А вот curl возвращает то, что надо. Не подскажете, в какую сторону тут курить надо?
Ломает в смысле: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name (version 21.1.3.32 (official build))
источник

EP

Ed P in R (язык программирования)
Байкулов Антон
Вообщем RSelenium да?
ну я в свой шайни-парсер сунул страницу, он рожал почти полминуты, но в итоге страница на 95% загрузилась и данные можно спарсить рвестом. Только "похожие элементы" грузятся динамически и недоступны через rvest
источник

БА

Байкулов Антон... in R (язык программирования)
Мне надо изображения в ShinyDashboard запихать, но перед этим эту ссылку надо получить при помощи парсинга
источник

AP

Aleksandr Pidtykan in R (язык программирования)
Байкулов Антон
Мне надо изображения в ShinyDashboard запихать, но перед этим эту ссылку надо получить при помощи парсинга
Советую делать минимальный пример, поскольку я так и не понял что вы там собрались парсить
источник

БА

Байкулов Антон... in R (язык программирования)
Собственно вопрос был про "чем парсить динамический контент". Выяснили что RSelenium. Буду пробовать

А парсить мне нужно изображения из карточки товара. Ссылка выше, а css элемента "p-card-single-b-media-details-slider-item-image"
источник

EP

Ed P in R (язык программирования)
щас проверю
источник

EP

Ed P in R (язык программирования)
Байкулов Антон
Собственно вопрос был про "чем парсить динамический контент". Выяснили что RSelenium. Буду пробовать

А парсить мне нужно изображения из карточки товара. Ссылка выше, а css элемента "p-card-single-b-media-details-slider-item-image"
а вы на страницу каждого товара хотите смотреть или на сайте есть какой-то каталог или там результат поиска?
источник