Телеграмм чат группы rlang

11:56пожаловаться #1

АК

Ivan Struzhkov

всем привет!
столкнулся с тем что скорость работы

doc1[1:nrow(doc1),list(list_col=as.character(unlist(list_col))),by=list(attempt_id)]->doc2

на порядок выше чем

doc1[,list(list_col=as.character(unlist(list_col))),by=list(attempt_id)]->doc2

есть ли этому объяснение?

В каком месте оно на порядок быстрее?

bench::mark(
  v1 = doc1[1:nrow(doc1),list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  v2 = doc1[,list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  min_iterations = 100
)

Результат:

  expression   min median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc
  <bch:expr> <bch> <bch:>     <dbl> <bch:byt>    <dbl> <int> <dbl>
1 v1         332ms  358ms      2.67        NA     6.51   100   244
2 v2         325ms  348ms      2.74        NA     6.66   100   243

12:07пожаловаться #2

АК

Артём Клевцов

В каком месте оно на порядок быстрее?

bench::mark(
  v1 = doc1[1:nrow(doc1),list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  v2 = doc1[,list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  min_iterations = 100
)

Результат:

  expression   min median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc
  <bch:expr> <bch> <bch:>     <dbl> <bch:byt>    <dbl> <int> <dbl>
1 v1         332ms  358ms      2.67        NA     6.51   100   244
2 v2         325ms  348ms      2.74        NA     6.66   100   243

Если хочется понимать, что происходит под капотом data.table включаем опцию verbose.

Ivan Struzhkov in R (язык программирования)

12:07пожаловаться #3

Артём Клевцов

В каком месте оно на порядок быстрее?

bench::mark(
  v1 = doc1[1:nrow(doc1),list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  v2 = doc1[,list(list_col=as.character(unlist(list_col))),by=list(attempt_id)],
  min_iterations = 100
)

Результат:

  expression   min median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc
  <bch:expr> <bch> <bch:>     <dbl> <bch:byt>    <dbl> <int> <dbl>
1 v1         332ms  358ms      2.67        NA     6.51   100   244
2 v2         325ms  348ms      2.74        NA     6.66   100   243

странно в результаты в своей среде я показывал выше

12:18пожаловаться #4

АК

Ivan Struzhkov

странно в результаты в своей среде я показывал выше

Категорически не понятно, что ты там в своей среде намерил, т.к. есть ряд нюансов при измерении производительности data.table. Среди прочего стоит отметить имплицитное построение индексов при первом обращении к столбцу. Есть и другие нюансы.

Alexander Semenov in R (язык программирования)

12:20пожаловаться #5

Inip Tyig

Вот вам пятничная новость: ученые переименовали за 2020 целых 27 цепочек в днк. Основная причина: Microsoft Excel на старых названиях думал что это даты :) Типичный пример - MARCH1 (membrane associated ring-CH-Type finger 1), который при вставке в эксель конвертировался в 1-Mar-2020.

Да, ученые всего мира много работают с экселем и такое название - реальная проблема. Удивительны пример правильной гибкости научного мира https://www.theverge.com/2020/8/6/21355674/human-genes-rename-microsoft-excel-misreading-dates?scrolla=5eb6d68b7fedc32c19ef33b4

The Verge

Scientists rename human genes to stop Microsoft Excel from misreading them as dates

Microsoft Excel: 1 — Human Genetics: 0.

Спасибо за ссылку! Как раз опять в отчёте на пару миллионов промахнулись. Буду знать, на кого валить.

13:36пожаловаться #6

Коллеги, подскажите какой функцией вернуть строку без кавычек? Хочу в .rmd вставить ссылки на картинки, а он отказывается есть имя заданное
file <- "image.png"

aGricolaMZ in R (язык программирования)

15:26пожаловаться #7

А как Вы пытаетесь их вывести?

15:27пожаловаться #8

![](file)

aGricolaMZ in R (язык программирования)

15:31пожаловаться #9

Попробуйте knitr::include_graphics()

15:31пожаловаться #10

спасибо, почти работает, сейчас трабл с кодировкой, но это я решу ))

15:35пожаловаться #11

Погорячился, не могу заставить его съесть русские символы run current chunk работает, а нажатие кнопки Knit приводит к ошибке

aGricolaMZ in R (язык программирования)

16:33пожаловаться #12

О боже, это кодировка... Поменяйте локале на ваш ср12что-то там

Алексей Нагорский... in R (язык программирования)

16:40пожаловаться #13

АН

1251

16:45пожаловаться #14

Sys.getlocale()
[1] "LC_COLLATE=Russian_Russia.1251;LC_CTYPE=Russian_Russia.1251;LC_MONETARY=Russian_Russia.1251;LC_NUMERIC=C;LC_TIME=Russian_Russia.1251"

16:58пожаловаться #15

АК

Aleksandr

Sys.getlocale()
[1] "LC_COLLATE=Russian_Russia.1251;LC_CTYPE=Russian_Russia.1251;LC_MONETARY=Russian_Russia.1251;LC_NUMERIC=C;LC_TIME=Russian_Russia.1251"

Файл.

16:59пожаловаться #16

Файл с кодировкой CP1251

17:00пожаловаться #17

Quitting from lines 8-9 (pervichka.Rmd)
Ошибка в knitr::include_graphics("10-22-18_Experiment_[187.2-307.2] <f0><f3><f1><f1><ea><e8><e5> <f1><e8><ec><e2><ee><eb><fb>.png") :
Cannot find the file(s): "10-22-18_Experiment_[187.2-307.2] <f0><f3><f1><f1><ea><e8><e5> <f1><e8><ec><e2><ee><eb><fb>.png"
Вызовы: <Anonymous> ... withCallingHandlers -> withVisible -> eval -> eval -> <Anonymous>
Вдобавок: Предупреждения:
1: В readLines(con, warn = FALSE) :
неправильный ввод найден во входном соединении 'pervichka.Rmd'
2: В knitr::knit(knit_input, knit_output, envir = envir, quiet = quiet) :
The file "pervichka.Rmd" must be encoded in UTF-8. Please see https://yihui.org/en/2018/11/biggest-regret-knitr/ for more info.
Выполнение остановлено

17:01пожаловаться #18

При перекодировке файла в UTF-8 возвращаемся в пункт со скрином выше

17:01пожаловаться #19

Sys.setlocale("LC_ALL", "UTF-8")
[1] ""
Предупреждение:
В Sys.setlocale("LC_ALL", "UTF-8") :
ОС сообщает, что запрос установки локали в "UTF-8" не может быть выполнен