AS
да мне помогла замена кодировки в БД
Size: a a a
2020 August 19
АК
Артём, там прикол в том, что если ему кормить стокой "Schlüsseldienst-ag.ch" то всё ок, а если именно в фрейме заменить букву то R не хочет
Есть большая разница между инпутом данных из консоли и данные, которые приезжают не известно откуда неизвестно в какой кодировке. Инпут в консоли всегда соответствует системной локали.
АК
1) по замене символов:
2) Нужно разбираться в кодировке исходных данных, кодировке клиента и сервера база данных. При использование UTF-кодировок, такой проблемы не может возникнуть в принципе.
> stringi::stri_trans_general("Schlüsseldienst-ag.ch", "latin-ascii")
[1] "Schlusseldienst-ag.ch"
Стоит отметить, что такой подход «портит» данные.2) Нужно разбираться в кодировке исходных данных, кодировке клиента и сервера база данных. При использование UTF-кодировок, такой проблемы не может возникнуть в принципе.
Коллеги подсказывают ещё вариант «обрезания»:
> iconv("Schlüsseldienst-ag.ch", "UTF-8", "ASCII//TRANSLIT")
[1] "Schlusseldienst-ag.ch"IS
на стеке вот такой варик был
Но он почему то не фурычит, ну потому что и gsub как бы не видел этой ü
to.plain <- function(s) {
# 1 character substitutions
old1 <- "šžþàáâãäåçèéêëìíîïðñòóôõöùúûüý"
new1 <- "szyaaaaaaceeeeiiiidnooooouuuuy"
s1 <- chartr(old1, new1, s)
# 2 character substitutions
old2 <- c("œ", "ß", "æ", "ø")
new2 <- c("oe", "ss", "ae", "oe")
s2 <- s1
for(i in seq_along(old2)) s2 <- gsub(old2[i], new2[i], s2, fixed = TRUE)
s2
}Но он почему то не фурычит, ну потому что и gsub как бы не видел этой ü
Что то пока не получилось тоже решить
AS
Такое себе, очень косноязычно написано. Аж не верится, что М.Кун писал
Ну может текст не он и писал.
A
Ну может текст не он и писал.
По этой теме есть еще
Dong G. Feature engineering for machine learning and data analytics
Ozdemir S. Feature Engineering Made Easy
Zheng A. Feature Engineering for Machine Learning
Если Кун не зайдет, лучше не насиловать себя и почитать что-то из списка
Dong G. Feature engineering for machine learning and data analytics
Ozdemir S. Feature Engineering Made Easy
Zheng A. Feature Engineering for Machine Learning
Если Кун не зайдет, лучше не насиловать себя и почитать что-то из списка
ЕТ
matrix(c(5, 1,
0, 0), ncol = 2, byrow = TRUE) %>% fisher.test()
ЕТ
p-value == 1
ЕТ
Разве не логичнее выкидывать исключение?
a
Что-то у меня дежавю, мы же это уже здесь как-то обсуждали...
Ю
Обсуждали
ЕТ
Серьёзно?
ЕТ
Я не нашёл.
ЕТ
Какие слова там использовали?
Ю
fisher
a
Женя, так Вы же спрашивали... Может что-то другое спрашивали...
ЕТ
Женя, так Вы же спрашивали... Может что-то другое спрашивали...
Я просто другое спрашивал)
ЕТ
Там было про переполнение памяти.
a
ЕТ
Да, то есть, у нас как бы нет оснований для отвержения нулевой гипотезы в таком случае, но у меня есть такое ощущение, что это стоило бы как-то отдельно обозначить. Но я могу ошибаться.