В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3182 membersпожаловаться на группу
2016 November 17

e

er@essbase.ru in ClickHouse не тормозит
Alexey Tomin
Добрый день всем!
Кто-нибудь грузил данные в CH из hadoop (hdfs)?
Как лучше всего делать? Если пускать map, то CH давится объёмами (hadoop кластер мощнее). Запускать отдельное приложение- админы против (ещё одна программа- ещё им работы).
Слона едят частями ?
источник
08:02пожаловаться

AT

Alexey Tomin in ClickHouse не тормозит
Хотя бы и так - в hadoop есть отлаженный процесс расчётов данных под конкретные алгоритмы. А в CH будут аналитики искать новые.
источник
08:04пожаловаться

e

er@essbase.ru in ClickHouse не тормозит
Alexey Tomin
Добрый день всем!
Кто-нибудь грузил данные в CH из hadoop (hdfs)?
Как лучше всего делать? Если пускать map, то CH давится объёмами (hadoop кластер мощнее). Запускать отдельное приложение- админы против (ещё одна программа- ещё им работы).
Админы исполняют ту музыку , которую оплачивает заказчик .   Если нет денег на работу, значит она вам не так уж сильно и нужна )
источник
08:05пожаловаться

e

er@essbase.ru in ClickHouse не тормозит
Блин .. это рвет мою картину мира )) Обычно все ровно наоборот

- или Вы хотите сказать что CH гораздо удобнее в анализе сырых данных чем hadoop (+ hive(hawq))

 o-o-o может ну его hadoop ? )
источник
09:56пожаловаться

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Тут смотря что называть сырыми данными
источник
10:03пожаловаться

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Если там неизвестно что, то лучше hadoop
источник
10:03пожаловаться

VT

Viktor Tarnavskiy in ClickHouse не тормозит
А если схема есть, то ClickHouse обычно будет сильно удобней
источник
10:04пожаловаться

VT

Viktor Tarnavskiy in ClickHouse не тормозит
Особенно если сравнивать с Hive
источник
10:04пожаловаться

AT

Alexey Tomin in ClickHouse не тормозит
Схема есть. У нас две связанные "таблицы". В каждую ежедневно льются сотни миллионов строк (то же структуры).
Надо аналитикам покрутить "а вот если сделать группировку вот так и вот сяк, то что будет?".
источник
10:06пожаловаться

e

er@essbase.ru in ClickHouse не тормозит
Alexey Tomin
Схема есть. У нас две связанные "таблицы". В каждую ежедневно льются сотни миллионов строк (то же структуры).
Надо аналитикам покрутить "а вот если сделать группировку вот так и вот сяк, то что будет?".
Это вопрос==ответ ? )
источник
12:25пожаловаться

AT

Alexey Tomin in ClickHouse не тормозит
Удобнее ли клик? Я не знаю. Это надо исслидовать.
Вопрос про хадуп собственно.
источник
12:31пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
привет. на крайний случай можно же всегда выплюнуть CSV из хадупа на ноду КХ и загрузить балк лоадом оттуда в ХД. такой вариант не рассматривали ?
источник
12:38пожаловаться

AT

Alexey Tomin in ClickHouse не тормозит
Нет пока. Спасибо, подумаем.
источник
12:39пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
а у вас разовая выгрузка с хадупа или периодически собираетесь ? просто интересно, как кто с хадупа инкремент захватывает
источник
12:43пожаловаться

NG

Nikita Glashenko (Hohol) in ClickHouse не тормозит
каждый день выгрузка
источник
12:45пожаловаться

NG

Nikita Glashenko (Hohol) in ClickHouse не тормозит
логов за один день
источник
12:45пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
а, ну по дате инкремент просто
источник
12:45пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
это проще конечно
источник
12:45пожаловаться

AN

Alexander Neberekutin in ClickHouse не тормозит
Всем привет! Писали в техподдержку, но там ответа так и не получили, решил сюда обратиться:)

Столкнулись с такой проблемой: после создания любой таблицы в базе и попытке обращения к этой таблице возникает ошибка вида -
Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: File not found: /opt/clickhouse/data/myapptest2/testtable/pageURL.bin.
ClickHouse client version 1.1.54030.
ClickHouse server version 1.1.54030

Обновили до версии 1.1.54046
Теперь следующее поведение:
2016.11.15 12:58:56.602 [ 2 ] <Error> HTTPHandler: Poco::Exception. Code: 1000, e.code() = 2, e.displayText() = File not found: /opt/clickhouse//data/myapp/installations/app_id.bin, e.what() = File not found

Может кто знает в какую сторону стоит копать?
источник
12:46пожаловаться

e

er@essbase.ru in ClickHouse не тормозит
Alexander Neberekutin
Всем привет! Писали в техподдержку, но там ответа так и не получили, решил сюда обратиться:)

Столкнулись с такой проблемой: после создания любой таблицы в базе и попытке обращения к этой таблице возникает ошибка вида -
Code: 1000. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: File not found: /opt/clickhouse/data/myapptest2/testtable/pageURL.bin.
ClickHouse client version 1.1.54030.
ClickHouse server version 1.1.54030

Обновили до версии 1.1.54046
Теперь следующее поведение:
2016.11.15 12:58:56.602 [ 2 ] <Error> HTTPHandler: Poco::Exception. Code: 1000, e.code() = 2, e.displayText() = File not found: /opt/clickhouse//data/myapp/installations/app_id.bin, e.what() = File not found

Может кто знает в какую сторону стоит копать?
Просто интересно - ставили из пакета ? Какой Linux ?
источник
12:50пожаловаться