Size: a a a

R (язык программирования)

2020 July 13

HC

Herman Cherniaiev in R (язык программирования)
Philipp Upravitelev
мы тут с @artemklevtsov так об lenta.com обломались
кнопку "показать еще" rselenium не видел, апи, куда кнопка стучалась, не отвечал... :(
И как решили вопрос ?
источник

PU

Philipp Upravitelev in R (язык программирования)
никак %(
источник

АК

Артём Клевцов... in R (язык программирования)
Philipp Upravitelev
никак %(
Мотивация не та была 😉
источник

PD

Pavel Demin in R (язык программирования)
Philipp Upravitelev
мы тут с @artemklevtsov так об lenta.com обломались
кнопку "показать еще" rselenium не видел, апи, куда кнопка стучалась, не отвечал... :(
а давно дело было?
источник

PU

Philipp Upravitelev in R (язык программирования)
Артём Клевцов
Мотивация не та была 😉
и это верно
источник

PU

Philipp Upravitelev in R (язык программирования)
Pavel Demin
а давно дело было?
да вот буквально неделю-две назад
источник

PD

Pavel Demin in R (язык программирования)
url = "https://lenta.com/catalog/frukty-i-ovoshchi/"
driver$navigate(url)

button = driver$findElements("class", "button")
v = vector("character", length(button))
for (i in 1:length(button)) {
 v[i] = unlist(button[[i]]$getElementText())
}

button[[match("ЗАГРУЗИТЬ ЕЩЁ", v)]]$clickElement()
источник

PD

Pavel Demin in R (язык программирования)
можно было бы сделать просто button[[2]], но вдруг на других страницах она не вторая, не потестил
источник

PU

Philipp Upravitelev in R (язык программирования)
о. прикольно, спасибо. потестирую
источник

IT

Inip Tyig in R (язык программирования)
Philipp Upravitelev
мы тут с @artemklevtsov так об lenta.com обломались
кнопку "показать еще" rselenium не видел, апи, куда кнопка стучалась, не отвечал... :(
я бы отснифал протокол, бывает там нужен правильный юзерагент или заголовки, реже куки.

а бывает что как с приложением 103.by — в декомполенных сорцах лежал пассфорд/апи-ключ для доступа к эндпоинту
источник

HC

Herman Cherniaiev in R (язык программирования)
Возвращаясь к вопросу о кнопке которую нельзя нажать, у меня как-то раз была проблема с   investing.com я тогда применил  switchToFrame() к ifram'u где была кнопка и заработало
источник

PU

Philipp Upravitelev in R (язык программирования)
любопытно, спасибо
я не так чтобы гуру в скрапинге, скорее иногда балуюсь, поэтому вот такие трюки не очень знаю :(
источник
2020 July 14

S

Stan in R (язык программирования)
Pavel Demin
url = "https://lenta.com/catalog/frukty-i-ovoshchi/"
driver$navigate(url)

button = driver$findElements("class", "button")
v = vector("character", length(button))
for (i in 1:length(button)) {
 v[i] = unlist(button[[i]]$getElementText())
}

button[[match("ЗАГРУЗИТЬ ЕЩЁ", v)]]$clickElement()
Немного не понял, а что делает кнопка? ))
источник

a

aGricolaMZ in R (язык программирования)
я так понял грузит дополнение (бесконечный скролл) к открытой странице
источник

PD

Pavel Demin in R (язык программирования)
Stan
Немного не понял, а что делает кнопка? ))
Типичная штука, когда на странице отражается ограниченное число элементов, и нужно подгрузить новые, нажав «загрузить еще»
источник

K

Konstantin in R (язык программирования)
При выгрузке данных с русских сайтов на win10 кириллица превращается в кракозябры, хотя кодировка utf-8. Это лечится как-нибудь?
источник

PU

Philipp Upravitelev in R (язык программирования)
Konstantin
При выгрузке данных с русских сайтов на win10 кириллица превращается в кракозябры, хотя кодировка utf-8. Это лечится как-нибудь?
так может кодировка не utf-8? %)
а что-нибудь типа cp1251

вообще, без примеров сложно что-то сказать внятное
источник

АК

Артём Клевцов... in R (язык программирования)
Konstantin
При выгрузке данных с русских сайтов на win10 кириллица превращается в кракозябры, хотя кодировка utf-8. Это лечится как-нибудь?
А это разве не проблемы винды с отображением utf8?
источник

K

Konstantin in R (язык программирования)
library(tidyverse)
library(htmlunit)

url <- "https://www.conomy.ru/emitent/akron/akrn-div"

pg <- hu_read_html(url)

df <- html_table(pg)[1]
источник

K

Konstantin in R (язык программирования)
Артём Клевцов
А это разве не проблемы винды с отображением utf8?
Так а эти проблемы как нибудь лечатся? Или только переходом на Линукс?
источник