БА
Size: a a a
2020 May 15
ЕБ
хм, поковыряю, но это же чето по шопифаю конкретно
A
Евгений Балакловский
по сути, если проблему непонятно описал, то это должно выглядеть в конечном решении так:
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
openCPU
АК
Евгений Балакловский
по сути, если проблему непонятно описал, то это должно выглядеть в конечном решении так:
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
plumber/restrserve такое могут.
AP
Переслано от Олег Логинов
library(shiny)
library(miniUI)
library(taskscheduleR)
library(rvkstat)
library(openxlsx)
myToken <- vkAuth(app_id = ***,
app_secret = '***')
# статистика сообщества
# получить список всех групп пользователя
my_groups <- vkGetUserGroups(access_token = myToken$access_token)
# общаяя статистика по сообществу
gr_stat <- vkGetGroupStat(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по возрасту
gr_stat_age <- vkGetGroupStatAge(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по полу
gr_stat_gender <- vkGetGroupStatGender(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по полу и возрасту
gr_stat_gen_age <- vkGetGroupStatGenderAge(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по городам
gr_stat_city <- vkGetGroupStatCity(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по странам
gr_stat_country <- vkGetGroupStatCountries(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
write.xlsx(gr_stat, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_final.xlsx")
write.xlsx(gr_stat_age, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_age_final.xlsx")
write.xlsx(gr_stat_gender, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_gender_final.xlsx")
write.xlsx(gr_stat_gen_age, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_gen_age_final.xlsx")
write.xlsx(gr_stat_city, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_city_final.xlsx")
write.xlsx(gr_stat_country, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_country_final.xlsx")
library(miniUI)
library(taskscheduleR)
library(rvkstat)
library(openxlsx)
myToken <- vkAuth(app_id = ***,
app_secret = '***')
# статистика сообщества
# получить список всех групп пользователя
my_groups <- vkGetUserGroups(access_token = myToken$access_token)
# общаяя статистика по сообществу
gr_stat <- vkGetGroupStat(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по возрасту
gr_stat_age <- vkGetGroupStatAge(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по полу
gr_stat_gender <- vkGetGroupStatGender(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по полу и возрасту
gr_stat_gen_age <- vkGetGroupStatGenderAge(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по городам
gr_stat_city <- vkGetGroupStatCity(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
# статистика по посетителям сообщества в разбивке по странам
gr_stat_country <- vkGetGroupStatCountries(date_from = "2020-01-01",
date_to = "2020-12-31",
group_id = ***,
access_token = myToken$access_token)
write.xlsx(gr_stat, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_final.xlsx")
write.xlsx(gr_stat_age, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_age_final.xlsx")
write.xlsx(gr_stat_gender, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_gender_final.xlsx")
write.xlsx(gr_stat_gen_age, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_gen_age_final.xlsx")
write.xlsx(gr_stat_city, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_city_final.xlsx")
write.xlsx(gr_stat_country, "C:/Users/Oleg/Documents/R/win-library/4.0/taskscheduleR/extdata/gr_stat_country_final.xlsx")
первые 3 библиотеки не нужны, попробуйте еще поменять в путях каждый / на \\
и пройдитесь по списку вариантов решения, что я кидал выше
и пройдитесь по списку вариантов решения, что я кидал выше
ОЛ
первые 3 библиотеки не нужны, попробуйте еще поменять в путях каждый / на \\
и пройдитесь по списку вариантов решения, что я кидал выше
и пройдитесь по списку вариантов решения, что я кидал выше
вот так попробовал
library(taskscheduleR)
library(openxlsx)
## Указываем название файла R скрипта для последующей работы с ним (VKontakte)
myscriptVK <- system.file("extdata", "API-VK.R", package = "taskscheduleR")
myscript_stat <- system.file("extdata", "gr_stat_final.xlsx", package = "taskscheduleR")
## Запуск скрипта ежедневно в 09:05, начиная с завтрашнего дня
## Важно: необходимо поменять формат даты, если он не совпадает с тем, что стоит на компьютере (пример: %m/%d/%Y)
taskscheduler_create(taskname = "myscriptdaily", rscript = myscript_stat,
schedule = "DAILY", starttime = "09:05",
startdate = format(Sys.Date()+1, "%d/%m/%Y"))
library(taskscheduleR)
library(openxlsx)
## Указываем название файла R скрипта для последующей работы с ним (VKontakte)
myscriptVK <- system.file("extdata", "API-VK.R", package = "taskscheduleR")
myscript_stat <- system.file("extdata", "gr_stat_final.xlsx", package = "taskscheduleR")
## Запуск скрипта ежедневно в 09:05, начиная с завтрашнего дня
## Важно: необходимо поменять формат даты, если он не совпадает с тем, что стоит на компьютере (пример: %m/%d/%Y)
taskscheduler_create(taskname = "myscriptdaily", rscript = myscript_stat,
schedule = "DAILY", starttime = "09:05",
startdate = format(Sys.Date()+1, "%d/%m/%Y"))
ОЛ
тоже ничего
JS
Евгений Балакловский
по сути, если проблему непонятно описал, то это должно выглядеть в конечном решении так:
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
получаем реквест в реал-тайм -> R делает предобработку -> льет в базу
вот если ктото мануал по такому etl извращению видел, то тысяча благодарностей
а что в рилтйме нужно? прием заявок или немедленная отдача результата в БД?
ЕБ
это по факту лог работы в CRM
JS
Евгений Балакловский
это по факту лог работы в CRM
и данные шлет эта CRM, так?
ЕБ
да!
ЕБ
В CRM заявка переходит туда-сюда из статуса в статус. У CRM есть вебхуки, по которым можно отслеживать события перехода заявки по статусам, вот мне и хотелось это все складировать в рил-тайме и дальше анализировать манагеров
ЕБ
боль в том, что у меня нет инженерных знаний, но вот воронку могу покрутить))
ЕБ
за openCPU/plumber/restrserve неравнодушным выше спасибо , посмотрю тоже
AP
тоже ничего
создавать задание нужно через визуальный интерфейс в Addins
при создании смотрите что выводит в консоль: может быть ошибка из-за длинного названия скрипта – тогда задание не создастся
при создании смотрите что выводит в консоль: может быть ошибка из-за длинного названия скрипта – тогда задание не создастся
ОЛ
через него и создаю
СБ
Господа профессионалы подскажите. Нужно извлеч весь html код в блоке. Обрабатываю парсинг страницы, получаю объект класса xml_nodeset. Далее хочу получить лист с элементами класса "character". Как обратиться или преобазовать переменную?
Пример кода:
> text_1 <- xml_find_all(ParsingUrl, xpath = path_text) %>% xml_contents()
> text_1
{xml_nodeset (3)}
[1] <h2>Подзаголовок</h2>
[2] <p>первый параграф...</p>
[3] <p>второй параграф...</p>
Нужно:
> text_1
[[1]]
[1] "<h2>Подзаголовок</h2>"
[[2]]
[1] "<p>первый параграф...</p>"
[[3]]
[1] "<p>второй параграф...</p>"
Пример кода:
> text_1 <- xml_find_all(ParsingUrl, xpath = path_text) %>% xml_contents()
> text_1
{xml_nodeset (3)}
[1] <h2>Подзаголовок</h2>
[2] <p>первый параграф...</p>
[3] <p>второй параграф...</p>
Нужно:
> text_1
[[1]]
[1] "<h2>Подзаголовок</h2>"
[[2]]
[1] "<p>первый параграф...</p>"
[[3]]
[1] "<p>второй параграф...</p>"
PU
есть же rvest
PU
для html, логика точно такая же, так как он идет как надстройка над xml2
PU
html_nodes(ParsingUrl, xpath = path_text) %>% html_text()