Size: a a a

ClickHouse не тормозит

2021 January 19

МЧ

Максим Чагин... in ClickHouse не тормозит
Максим Чагин
делали detach но в КХ не писали новых данных
может в этот момент merge был конечно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим Чагин
может в этот момент merge был конечно
в смысле detach table ? тогда мержа не было
источник

А

Алексей in ClickHouse не тормозит
приветы. Подскажите, как добавить пользователю права на создание таблицы в КликХаусе, который крутится в Облаке Яндекса. Всю документацию перерыл уже, ничего не выходит
источник

МЧ

Максим Чагин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
в смысле detach table ? тогда мержа не было
detach партиций по всей таблице
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим Чагин
detach партиций по всей таблице
и потом из папки detached скопировали?
источник

МЧ

Максим Чагин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
и потом из папки detached скопировали?
да, копировали на новый сервер и там уже attach
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим Чагин
да, копировали на новый сервер и там уже attach
может во время копирования побились, rsync-м копировали?
источник

МЧ

Максим Чагин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
может во время копирования побились, rsync-м копировали?
да, им
источник

МЧ

Максим Чагин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
может во время копирования побились, rsync-м копировали?
но вроде кол-во и размер файлов совпадал
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Максим Чагин
но вроде кол-во и размер файлов совпадал
а на старом сервере атачится назад?
источник

МЧ

Максим Чагин... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а на старом сервере атачится назад?
уже нет, тоже эти файлы выдают ошибку
источник
2021 January 20

n

name:ed in ClickHouse не тормозит
Приветствую.

Спасибо за решение @tkostyan.
Пытаюсь использовать это для alembic миграций, но в миграцию не подтягивает значение engine (елси же нужные строки туда дописать руками - сама миграция получается рабочая).

def upgrade():
   # ### commands auto generated by Alembic - please adjust! ###
   op.create_table('another_rate_2',
   sa.Column('day', clickhouse_sqlalchemy.types.common.Date(), nullable=False),
   sa.Column('value', clickhouse_sqlalchemy.types.common.Int32(), server_default=sa.text('1'), nullable=True),
   sa.Column('model', clickhouse_sqlalchemy.types.common.String(), nullable=True),
   sa.Column('dt', clickhouse_sqlalchemy.types.common.DateTime(), server_default=sa.text('now()'), nullable=True),
   sa.PrimaryKeyConstraint('day')
   
   # engine должен быть где-то здесь : (
   )
   …


хотя в самой модели engine указан

another_table_2 = Table('another_rate_2', metadata,
   Column('day', types.Date, primary_key=
True),
   Column('value', types.Int32, server_default=literal(1)),
   Column('model', types.String),
   Column('dt', types.DateTime, server_default=func.now()),
   Column('dt3', types.DateTime64(3), server_default=func.now()),
   # Column('dt2', types.DateTime64(2), server_default=func.now()),
   engines.ReplicatedMergeTree(
       '/clickhouse/tables/{layer}-{shard}/another_rate_2', '{replica}',
       partition_by=func.toYYYYMM(Column('dt')),
       order_by=('value', 'model')
   )
)


Если в созданную миграцию его дописать руками, миграция работает.

В alembic env.py использовал такой код для задания диалекта

class CustomDialectImpl(impl.DefaultImpl):
   dialect = "clickhouse"
   transactional_ddl = Fals
e
источник

K

Kostya in ClickHouse не тормозит
name:ed
Приветствую.

Спасибо за решение @tkostyan.
Пытаюсь использовать это для alembic миграций, но в миграцию не подтягивает значение engine (елси же нужные строки туда дописать руками - сама миграция получается рабочая).

def upgrade():
   # ### commands auto generated by Alembic - please adjust! ###
   op.create_table('another_rate_2',
   sa.Column('day', clickhouse_sqlalchemy.types.common.Date(), nullable=False),
   sa.Column('value', clickhouse_sqlalchemy.types.common.Int32(), server_default=sa.text('1'), nullable=True),
   sa.Column('model', clickhouse_sqlalchemy.types.common.String(), nullable=True),
   sa.Column('dt', clickhouse_sqlalchemy.types.common.DateTime(), server_default=sa.text('now()'), nullable=True),
   sa.PrimaryKeyConstraint('day')
   
   # engine должен быть где-то здесь : (
   )
   …


хотя в самой модели engine указан

another_table_2 = Table('another_rate_2', metadata,
   Column('day', types.Date, primary_key=
True),
   Column('value', types.Int32, server_default=literal(1)),
   Column('model', types.String),
   Column('dt', types.DateTime, server_default=func.now()),
   Column('dt3', types.DateTime64(3), server_default=func.now()),
   # Column('dt2', types.DateTime64(2), server_default=func.now()),
   engines.ReplicatedMergeTree(
       '/clickhouse/tables/{layer}-{shard}/another_rate_2', '{replica}',
       partition_by=func.toYYYYMM(Column('dt')),
       order_by=('value', 'model')
   )
)


Если в созданную миграцию его дописать руками, миграция работает.

В alembic env.py использовал такой код для задания диалекта

class CustomDialectImpl(impl.DefaultImpl):
   dialect = "clickhouse"
   transactional_ddl = Fals
e
Да, engine пока туда не будет подтягиваться. Сейчас это одно из ограничений, которое возможно получится обойти
источник

DN

Demetra Nadya in ClickHouse не тормозит
Есть пример создания индекса  уже на готовой таблице?
источник

DN

Demetra Nadya in ClickHouse не тормозит
Как для этой таблицы добавить составной индекс для s_company_id
источник

DN

Demetra Nadya in ClickHouse не тормозит
источник

OG

Oleg Gavrilov in ClickHouse не тормозит
Кто-то использовал mongodb engine? Как доставать данные из вложенных документов?
источник

D

Dj in ClickHouse не тормозит
Demetra Nadya
Как для этой таблицы добавить составной индекс для s_company_id
Исправить на
Order by id, s_company_id
источник

D

Dj in ClickHouse не тормозит
Demetra Nadya
Есть пример создания индекса  уже на готовой таблице?
Менять ключ нельзя, в кх только кластерный индекс определяющий порядок строк. Скип индекмы есть но это другое
источник

A

Ananth in ClickHouse не тормозит
I we are trying to connect clickhouse with Tableau Server linux
we are getting below error
——————————————————————————————————————————————————————
while connecting tableau with clickhouse we are getting below error
[unixODBC][Driver Manager]Can't open lib '/usr/local/lib/libclickhouseodbc.so' : file not found
Generic ODBC requires additional configuration. The driver and DSN (data source name) must be installed and configured to match the connection.
Unable to connect using the DSN named "ANANTH DB". Check that the DSN exists and is a valid connection.
—————————————————————————————————————————————————————————————-
https://github.com/ClickHouse/clickhouse-odbc
we installed clickhouse-odbc

Driver = /usr/local/opt/clickhouse-odbc/lib/libclickhouseodbc.so
# Optional settings:
#server = localhost
#password = xxxxxx
#port = 8123
#database = default
#uid = default
#sslmode = require
источник