А
Довольно странное утверждение. Хотелось бы более конкретных объяснение, а то «мужики то не знают».
я решал как раз такую задачу. Нужно было парсить сжатые гигабайты реддита. И вот R никак это делать не хотела, но из консоли все полетело
Size: a a a
2020 October 11
АК
@semenoffalex есть совсем консольный jq. zcat | jq <expr> > outfile.
AS
Да, вполне себе. Если есть возможность скинь кусок файла и реузльтат, который нужен.
Речь про goodreads_interactions_mystery_thriller_crime.json.gz вот отсюда: https://sites.google.com/eng.ucsd.edu/ucsdbookgraph/home. Хочу через GloVe себе рекомендашку запилить, а то читать совсем нечего.
А
Я в прошлый раз писал, что петон на этой задаче отвалился уже через 5 минут.
не призываю к питону
АК
я решал как раз такую задачу. Нужно было парсить сжатые гигабайты реддита. И вот R никак это делать не хотела, но из консоли все полетело
Имею другой опыт на похоже задаче. Так что, возможно, дело вовсе на «экре».
AS
Речь про goodreads_interactions_mystery_thriller_crime.json.gz вот отсюда: https://sites.google.com/eng.ucsd.edu/ucsdbookgraph/home. Хочу через GloVe себе рекомендашку запилить, а то читать совсем нечего.
Что-то мне подсказывает, что те же данные в *.csv считаются в fread за минуту.
АК
Речь про goodreads_interactions_mystery_thriller_crime.json.gz вот отсюда: https://sites.google.com/eng.ucsd.edu/ucsdbookgraph/home. Хочу через GloVe себе рекомендашку запилить, а то читать совсем нечего.
А на выходе чего надо?
AS
Да ровно то же, но в *.csv. Ну или только user_id, book_id, timestamp.
ЕТ
@EugeneTomilov disabled until a newer version of RStudio is installed - отключена до тех пор пока не будет установлена более новая версия RStudio
@baikulov При чем здесь версия R? Сейчас на сайте RStudio последняя версия 1.3.1093
@baikulov При чем здесь версия R? Сейчас на сайте RStudio последняя версия 1.3.1093
Английский сломался.
MV
Английский сломался.
#wizard
АК
Да ровно то же, но в *.csv. Ну или только user_id, book_id, timestamp.
Примерный вариант перегонки нужных полей в CSV.
library(jsonlite)
library(data.table)
in_file <- "Downloads/goodreads_books.json.gz"
book_out_file <- "Downloads/goodreads_books.csv.gz"
author_out_file <- "Downloads/goodreads_authors.csv.gz"
unlink(book_out_file)
unlink(author_out_file)
book_handler <- function(entry) {
res <- list(
book_id = entry[["book_id"]],
work_id = entry[["work_id"]],
title = entry[["title"]],
publication_year = entry[["publication_year"]],
num_pages = entry[["num_pages"]],
publisher = entry[["publisher"]]
)
fwrite(
x = res,
file = book_out_file,
append = TRUE,
sep = ",",
na = ""
)
}
stream_in(gzfile(in_file), book_handler, 1000)
author_handler <- function(entry) {
res <- entry[["authors"]]
res <- setNames(res, entry[["book_id"]])
res <- rbindlist(res, idcol = "book_id")
fwrite(
x = res,
file = author_out_file,
append = TRUE,
sep = ",",
na = ""
)
}
stream_in(gzfile(in_file), author_handler, 1000)
АК
Да ровно то же, но в *.csv. Ну или только user_id, book_id, timestamp.
Чтобы писать в память.
за пределами хэндлера
за пределами хэндлера
e <- new.env()внутри хэндлера:
e[[entry[["book_id"]]]] <- entryПосле окончания процесса:
rbindlist(e. fill = TRUE)
AS
Божечки-кошечки! Спасибо, буду пробовать.
АК
Божечки-кошечки! Спасибо, буду пробовать.
zcat "Downloads/goodreads_books.json.gz" | head | jq -r '[.book_id, .work_id, .title] | @csv'
"5333265","5400751","W.C. Fields: A Life on Film"
"1333909","1323437","Good Harbor"
"7327624","8948723","The Unschooled Wizard (Sun Wolf and Starhawk, #1-2)"
"6066819","6243154","Best Friends Forever"
"287140","278577","Runic Astrology: Starcraft and Timekeeping in the Northern Tradition"
"287141","278578","The Aeneid for Boys and Girls"
"378460","368291","The Wanting of Levine"
"6066812","701117","All's Fairy in Love and War (Avalon: Web of Magic, #8)"
"34883016","56135087","Playmaker: A Venom Series Novella"
"287149","278586","The Devil's Notebook"
АК
zcat "Downloads/goodreads_books.json.gz" | head | jq -r '[.book_id, .work_id, .title] | @csv'
"5333265","5400751","W.C. Fields: A Life on Film"
"1333909","1323437","Good Harbor"
"7327624","8948723","The Unschooled Wizard (Sun Wolf and Starhawk, #1-2)"
"6066819","6243154","Best Friends Forever"
"287140","278577","Runic Astrology: Starcraft and Timekeeping in the Northern Tradition"
"287141","278578","The Aeneid for Boys and Girls"
"378460","368291","The Wanting of Levine"
"6066812","701117","All's Fairy in Love and War (Avalon: Web of Magic, #8)"
"34883016","56135087","Playmaker: A Venom Series Novella"
"287149","278586","The Devil's Notebook"
zcat "Downloads/goodreads_books.json.gz" | head | jq -r '[(.book_id), (.authors | map(.author_id) | join("|"))] | @csv'
"5333265","604031"
"1333909","626222"
"7327624","10333"
"6066819","9212"
"287140","149918"
"287141","3041852"
"378460","215594"
"6066812","19158"
"34883016","5807700"
"287149","2983296|40075"АК
Да, для
Читать ман
Такая конструкция позволяет на лету отбирать поля, фильтровать, сортировать и на выходе получать R-объект. Требования к памяти, разумеется, будут выше.
jq есть пакет jqr, где можно использовать что-то вроде:library(jsonlite)
library(jqr)
x <- gzfile(in_file) %>%
jq("{book_id, work_id, title}") %>%
combine() %>%
fromJSON()
str(x)
# 'data.frame': 2360655 obs. of 3 variables:
# $ book_id: chr "5333265" "1333909" "7327624" "6066819" ...
# $ work_id: chr "5400751" "1323437" "8948723" "6243154" ...
# $ title : chr "W.C. Fields: A Life on Film" "Good Harbor" "The Unschooled Wizard (Sun Wolf and Starhawk, #1-2)" "Best Friends Forever" ...
Читать ман
jq рекомендуется.Такая конструкция позволяет на лету отбирать поля, фильтровать, сортировать и на выходе получать R-объект. Требования к памяти, разумеется, будут выше.
AS
Спасибо! Думаю, что предыдущий вариант быстро отработал. Через пару часов проверю.
АК
По возможности файлик на SSD положи, если сейчас это не так.
AS
Блин, и вправду на HDD лежал =(
AS
Спасибо! Думаю, что предыдущий вариант быстро отработал. Через пару часов проверю.
В 14:06 всё было готово, а запустил скрипт я примерно в 13:25.