Size: a a a

ClickHouse не тормозит

2020 August 14

АВ

Александр Веселов... in ClickHouse не тормозит
mariadb 10.4
источник

CO

Chern Oleksander in ClickHouse не тормозит
всем привет, а не подскажите, как можно вывести rowNumberInAllBlocks()
для группы?
Грубо говоря, есть таблица
id_user, tr_id, amount_tr
мне нужно вывести
id_user, number_of_transaction_for_user, amount_tr
источник

CO

Chern Oleksander in ClickHouse не тормозит
есть какие-то возможности у кх, что бы в окне сделать?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Александр Веселов
всем привет. технчиеский вопрос - словарь не подгружается, и в логах ничего. ни в ошибках ни в логе сервера.
где искать причину?)
словарь из мускл таблички
посмотрел на картинку, просто вы еще не обращались к словарю, они lazy load
источник

АВ

Александр Веселов... in ClickHouse не тормозит
оО не подумал)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
сделайте либо select либо dictget
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Chern Oleksander
всем привет, а не подскажите, как можно вывести rowNumberInAllBlocks()
для группы?
Грубо говоря, есть таблица
id_user, tr_id, amount_tr
мне нужно вывести
id_user, number_of_transaction_for_user, amount_tr
groupArray / arrayEnumerate
источник

АВ

Александр Веселов... in ClickHouse не тормозит
щас попробую)
источник

АВ

Андрей Вечный... in ClickHouse не тормозит
Всем привет! Подскажите плз: при тестировании возникла ошибка
Cannot reserve 1.00 MiB, not enough space  
При том что места на разделе с КХ еще 1 TB.
Где может стоять какое то ограничение по потреблению?
Развернуто в единственном экземпляре, не кластер
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Андрей Вечный
Всем привет! Подскажите плз: при тестировании возникла ошибка
Cannot reserve 1.00 MiB, not enough space  
При том что места на разделе с КХ еще 1 TB.
Где может стоять какое то ограничение по потреблению?
Развернуто в единственном экземпляре, не кластер
ошибку целиком можете показать?
На каком разделе диска не смог и на каком свободно?
источник

SL

Sergey Lossev in ClickHouse не тормозит
Что это за инструмент?
источник

АВ

Александр Веселов... in ClickHouse не тормозит
DataGrip
источник

АВ

Александр Веселов... in ClickHouse не тормозит
JetBrains DataGrip
источник

АВ

Андрей Вечный... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ошибку целиком можете показать?
На каком разделе диска не смог и на каком свободно?
2020-08-14T15:39:58.524+0300 [error] com.lightbend.lagom.internal.broker.kafka.KafkaSubscriberActor [sourceThread=application-akka.actor.default-dispatcher-32, akkaTimestamp=12:39:58.523UTC, akkaSource=akka://application/user/KafkaBackoffConsumer1-injirMsg/KafkaConsumerActor1-injirMsg, sourceActorSystem=application] - Topic subscription interrupted due to failure: [ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
]
2020-08-14T15:39:58.529+0300 [error] akka.actor.OneForOneStrategy [sourceThread=application-akka.actor.default-dispatcher-33, akkaTimestamp=12:39:58.524UTC, akkaSource=akka://application/user/KafkaBackoffConsumer1-injirMsg/KafkaConsumerActor1-injirMsg, sourceActorSystem=application] - ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:58)
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:28)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.checkForErrorAndThrow(ClickHouseStatementImpl.java:875)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.getInputStream(ClickHouseStatementImpl.java:616)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.executeUpdate(ClickHouseStatementImpl.java:215)
   at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeUpdate(ClickHousePreparedStatementImpl.java:130)
   at com.zaxxer.hikari.pool.ProxyPreparedStatement.executeUpdate(ProxyPreparedStatement.java:61)
   at com.zaxxer.hikari.pool.HikariProxyPreparedStatement.executeUpdate(HikariProxyPreparedStatement.java)
   at akka.stream.alpakka.slick.javadsl.Slick$.$anonfun$toDBIO$3(Slick.scala:372)
   at akka.stream.alpakka.slick.javadsl.Slick$.$anonfun$toDBIO$3$adapted(Slick.scala:371)
   at slick.jdbc.SimpleJdbcAction.run(StreamingInvokerAction.scala:70)
   at slick.jdbc.SimpleJdbcAction.run(StreamingInvokerAction.scala:69)
   at slick.basic.BasicBackend$DatabaseDef$$anon$3.liftedTree1$1(BasicBackend.scala:275)
   at slick.basic.BasicBackend$DatabaseDef$$anon$3.run(BasicBackend.scala:275)
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.Throwable: Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:53)
   ... 16 common frames omitted
источник

CO

Chern Oleksander in ClickHouse не тормозит
не понятно ((
SELECT up.user_id,
      rowNumberInAllBlocks()+1,
       num,
   up.*
FROM user_payments up ARRAY join arrayEnumerate(user_id) AS num
WHERE up.user_id = 2232807
   and up.type ='payin'
   and up.status ='done'
пишет, что должен быть array
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Андрей Вечный
2020-08-14T15:39:58.524+0300 [error] com.lightbend.lagom.internal.broker.kafka.KafkaSubscriberActor [sourceThread=application-akka.actor.default-dispatcher-32, akkaTimestamp=12:39:58.523UTC, akkaSource=akka://application/user/KafkaBackoffConsumer1-injirMsg/KafkaConsumerActor1-injirMsg, sourceActorSystem=application] - Topic subscription interrupted due to failure: [ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
]
2020-08-14T15:39:58.529+0300 [error] akka.actor.OneForOneStrategy [sourceThread=application-akka.actor.default-dispatcher-33, akkaTimestamp=12:39:58.524UTC, akkaSource=akka://application/user/KafkaBackoffConsumer1-injirMsg/KafkaConsumerActor1-injirMsg, sourceActorSystem=application] - ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 243, host: 10.78.222.229, port: 8123; Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:58)
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:28)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.checkForErrorAndThrow(ClickHouseStatementImpl.java:875)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.getInputStream(ClickHouseStatementImpl.java:616)
   at ru.yandex.clickhouse.ClickHouseStatementImpl.executeUpdate(ClickHouseStatementImpl.java:215)
   at ru.yandex.clickhouse.ClickHousePreparedStatementImpl.executeUpdate(ClickHousePreparedStatementImpl.java:130)
   at com.zaxxer.hikari.pool.ProxyPreparedStatement.executeUpdate(ProxyPreparedStatement.java:61)
   at com.zaxxer.hikari.pool.HikariProxyPreparedStatement.executeUpdate(HikariProxyPreparedStatement.java)
   at akka.stream.alpakka.slick.javadsl.Slick$.$anonfun$toDBIO$3(Slick.scala:372)
   at akka.stream.alpakka.slick.javadsl.Slick$.$anonfun$toDBIO$3$adapted(Slick.scala:371)
   at slick.jdbc.SimpleJdbcAction.run(StreamingInvokerAction.scala:70)
   at slick.jdbc.SimpleJdbcAction.run(StreamingInvokerAction.scala:69)
   at slick.basic.BasicBackend$DatabaseDef$$anon$3.liftedTree1$1(BasicBackend.scala:275)
   at slick.basic.BasicBackend$DatabaseDef$$anon$3.run(BasicBackend.scala:275)
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.Throwable: Code: 243, e.displayText() = DB::Exception: Cannot reserve 1.00 MiB, not enough space (version 20.6.3.28 (official build))
   at ru.yandex.clickhouse.except.ClickHouseExceptionSpecifier.specify(ClickHouseExceptionSpecifier.java:53)
   ... 16 common frames omitted
да джавный стек трейс очень помог, в логе кх более подробно
источник

АВ

Андрей Вечный... in ClickHouse не тормозит
посмотрю там
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Chern Oleksander
не понятно ((
SELECT up.user_id,
      rowNumberInAllBlocks()+1,
       num,
   up.*
FROM user_payments up ARRAY join arrayEnumerate(user_id) AS num
WHERE up.user_id = 2232807
   and up.type ='payin'
   and up.status ='done'
пишет, что должен быть array
3 группы

SELECT
   number % 3 AS g,
   number AS x
FROM numbers(10)


select g, x, i from (select g, groupArray(x) gx from (select number % 3 g , number x from numbers(10)) group by g) array join gx as x, arrayEnumerate(gx) as i
источник

CO

Chern Oleksander in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
3 группы

SELECT
   number % 3 AS g,
   number AS x
FROM numbers(10)


select g, x, i from (select g, groupArray(x) gx from (select number % 3 g , number x from numbers(10)) group by g) array join gx as x, arrayEnumerate(gx) as i
аааааа, понял, спасибо!
источник

LA

Lev Abashkin in ClickHouse не тормозит
Привет! Подскажите, есть ли настройка, чтобы обойти следующее ограничение? В доках не нашёл.
DB::Exception: Limit for rows to read exceeded, max bytes: 9.09 TiB, current bytes: 9.10 TiB
источник