#четверг_который_прикидывается_пятницой #музыкальная_пауза Data Science

Statisticians

(Repeat)

Academic classical statistician, sit down and listen
You’re about to witness the power of algorithms
Linear regressions is suckin’ us into a recession
Interpretability is dead, the gold standard is now prediction

Please, you think ‘cause a method is new, it isn’t bad?
Everything about your “big data” movement is a fad
All you have is a glittering enigma wrapped in a complex riddle
Nothing but a black box with lots of little knobs to twiddle

I’ll take a black box that delivers accurate answers
On any question you can ask it, from genetics to cancer
Over a transparent box we understand that’s “interpretable”

With tractable math…

Yeah, too bad it doesn’t work so good though

Algorithms are just another kind of statistical inference
That’s fine. You’re advocating scientifical ignorance
You’re like the Wizard of Oz in a balloon, floating over the earth
"Come back!"
“I can’t! I don’t know how it works!”

Here’s how it works: data goes in, predictions emerge
Talk to Mark Zuckerberg if you really question its worth
Forget it, stay bottled up in a college and data model
I’ll solve problems, drive an Audi, and date a model

Data science, we predict the outcome
And if you see it's workin’, there’s no need to question “how come?”

Statisticians, we want it precise
How is it “science” if you can’t explain your model designs?!?

Data science, we don’t want it basic
Life is complicated, the original “black box” is nature

Statisticians, reveal how nature functions
All I need is a model with articulated assumptions

Is that too much to ask from a data analyst?
Show your work!? That’s basic practice, but they can't handle it
Move fast, break things, it just isn't right
Not at the expense of parsimony and scientific insight

You got it backwards, pops, scientific progress
Is a step-by-step process from simple to complex
Quantum physics comes after Newtonian mechanics
And classic statisticians never discovered exoplanets

You’re the one with the model backwards, son, you got distracted

We get results!

Yeah, with no thought for the causal factors
Tech investors keep earning, algorithms keep churning
But it’s a shallow journey if only the machine’s learning

We’re learning, never doubt that, data science is about facts
And if it catches mice, that makes it a better mousetrap
Statistics is either gonna get with artificial intelligence
Or it’s gonna lose in the data battle for relevance

Well if that’s your position, then I'm a converted mathematician
First, check if it works, and then unpack the algorithm
With statistical methods; that’s just more for us to perceive
Just don’t lose sight of the random forest for the trees

Data science, we predict the outcom
First check if it's workin’, and then question “how come?”

Statisticians, we want it precise
How is it “science” if you can’t explain your model designs?

Data science, we don’t want it basic
Life is complicated, the original black box is nature

Statisticians, reveal how nature functions
All I need is a model with articulated assumptions

Data Science

Statisticians

(Repeat) https://www.youtube.com/watch?v=uHGlCi9jOWY

Всем добрый вечер, хотела бы узнать, как можно увлечить лимит RAM mac OS, так как команда memory.limit не работает на OS(
находила команду ulimit и gcinfo, но опыт не увенчался успехом, возможно просто не знаю как верно задать команду.
буду признательна за совет, если кто то сталкивался. Смогла узнать, что из 24 гб Р использет только 4

но одна из команд показала, что используется толко 4 ГБ(

Всем добрый вечер, хотела бы узнать, как можно увлечить лимит RAM mac OS, так как команда memory.limit не работает на OS(
находила команду ulimit и gcinfo, но опыт не увенчался успехом, возможно просто не знаю как верно задать команду.
буду признательна за совет, если кто то сталкивался. Смогла узнать, что из 24 гб Р использет только 4

конкретный кейс. модели дирихле надо минимум 16 ГБ памяти чтобы она начала прогружать "нагруженные" категории. а так как стоит лимит в 4 ГБ оно либо не тянет совсем, либо жду очень долго

Проверь аллокацию вектора:

> x <- numeric(2 * 10e8)
> format(object.size(x), "auto")
[1] "14.9 Gb"
> gc()
             used    (Mb) gc trigger    (Mb)   max used    (Mb)
Ncells     274724    14.7     659071    35.2     468895    25.1
Vcells 2000548060 15263.0 2883379101 21998.5 2000553757 15263.1

как вы код выделяете отдельным типом?

как вы код выделяете отдельным типом?

спасибо буду знать.
вот результат говорит так

 > format(object.size(x), "auto") [1] "14.9 Gb"
> gc()              used    (Mb) gc trigger  (Mb) limit (Mb)   max used    (Mb) Ncells    1036998    55.4    1665968    89         NA    1665968    89.0 Vcells 2153512078 16430.0 3103650334 23679      24576 2153518507 16430.1