Дичь какую-то обсуждаете. Мой внутренний гуманитарий feels insecure.

выдавливай его по капле

Коллеги, подскажите с просто задачей про Outliers. Есть датасет с посуточными ценами на квартиры (с AirBnB). Как правильно работать с экстремальными ценами в этом датасете?

Если использовать 3*STD или percentiles (+-IRQ), то отсекаются дорогие квартиры (а они на самом деле есть и их исключать нельзя).

Но двух картинках видно, что для Манхэттена есть две цены по 9999, это явный outlier который можно исключить так как сильно далеко от остальных да и сама цифра намекает (четыре 9ки). Но как обосновать исключение 9999, так и писать «нутром чую косяк какой то»?

И как быть с Бруклином? Там тоже несколько экстримов, но не такие явные как 9999 в Манхэттене. Как с ними быть? Исключать? И на каком основании?

аутлаеры можно чистить по-разному
можно вообще лояльные 2.5% с каждого края, что близко к 2sd, но не зависит от распределения, которое здесь явно не нормальное

ну и определитесь, что такое аутлаеры, в первую очередь

Ну в моём случае аутлаеры это то, что далеко от общей массы в силу ошибок в данных или в силу экстремального случая.

в идеальном случае определение должно помогать сформулировать различительный критерий %) в частности, чем очень дорогая квартира отличается от аутлаера.
например, ошибки в данных можно операционализировать как стоимость из нескольких повторений одной цифры, типа 9999. или нарушение закона бенфорда, например.

вообще, подходов много к выделению аутлаеров. и кластеризации на любой вкус,  пороги-квантили, и что угодно еще. тут важно просто выбрать какой-то, аргументация подхода всегда предмет споров, на мой взгляд. я лично предпочитаю процентили, как выше писал.

коллеги, скажите, кто из вас пользовался сбором и отправкой данных через сокеты?

а то единственный пример, который я вижу - это как общаться между двумя R-процессами в терминале, а это очень уж игрушечно

у меня это все еще в планах, примеры видел в хелпе rzmq пакета

хм. хорошо, спасибо

А чем 9999 не нравится? Бывает 10000? Бывает 10001? Может человек хотел поставить 12к, но форма помешала, грит, ток 10к. А он плюнул и решил демпинг устроить. Аутлаеры по одному параметру не выявить, только оценивая другие. Вот если чел из окраины за 3км от метро просит за однушку - с соседом - 9999, тогда да, есть основания. А исключительно число 9999... Неа

У меня вот недавно на спектрике 26.000 было, давно ждал, уже начал верить, что в симуляции живу

Но нет, можно ходить на работу, бывает и такое

Ну в принципе да, аргумент. Тем более исключение 9999 сильно на среднюю не влияет. А так как самое распределение Right Skewed, то вместо средней возьму медиану. Вообщем понял. Аутлаеры не трогаю, так как оснований для их исключений нет.

9999 во многих маркетингово-социологических кампаниях используется для маркировки пользовательского пропуска / отказа от ответа. так что рефлекс.

Очень здорово

А ещё кажется в, прости Господи, Statistica это значение для NA

например, да