в этой схеме приложение должно через

/latest/meta-data/iam/security-credentials/

получить временные крединталы, это автоматом работает с либами что AWS API предлагает

Можно ли как-то почистить метадату после удаления файлов таблиц с диска в ручную?
а то теперь не дает создать базы/таблицы с такимим именами, какие были у удаленных

скорее всего IAM roles не работают..

по моему там надо руками api keys указывать что печалька

можно clickhouse/metadata

так просто :)
Спасибо

/latest/meta-data/iam/security-credentials/

http://host/bucket/*
http://host/bucket/*.csv

select * from s3('http://host/bucket/*', 'access_key_id', 'secret_access_key', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32')

вот так попробуйте (если че это Денис виноват)

ок 🙁
а где доку по s3 найти? 🙂

да сами колемся и плачем... доку нельзя найти доку можно написать ))

исходный код доступен на гитхабе)

ок, я примеры в тестах смотрю 😄

есть много чукчей-читателей, а нужен чукча-писатель...

простите меня дорогие чукчи за возможно некорректное высказывание

Добрый день коллеги
Обнаружим проблему в обрезанием кириллических строк в Dictionary
CREATE DICTIONARY dim_exec_state
(
   id UInt64,
   name String,
   parent_id UInt64 HIERARCHICAL
)
PRIMARY KEY id
SOURCE(ODBC(DB 'public' TABLE 'dim_exec_state' CONNECTION_STRING 'DSN=postgresConnection'))
LIFETIME(MIN 0 MAX 300)
LAYOUT(FLAT)

При запросе явно обрезает кириллицу
SELECT *
FROM odbc('DSN=postgresConnection;Servername=postgres', 'dim_exec_state')

┌─id─┬─name────────────────────────┬─parent_id─┐
│  1 │ На исполнении               │      ᴺᵁᴸᴸ │
│  2 │ На исполнении с нарушением  │         1 │
│  3 │ На исполнении с переносом с │         1 │
│  4 │ На исполнении без нарушени�  │         1 │
│  5 │ Исполнено                   │      ᴺᵁᴸᴸ │
│  6 │ Исполнено с нарушением сро�  │         5 │
│  7 │ Исполнено с переносом срок�  │         5 │
│  8 │ Исполнено без нарушения ср�  │         5 │
└────┴─────────────────────────────┴───────────┘

В Dictionary то же самое:
SELECT *
FROM default.dim_exec_state

┌─id─┬─name────────────────────────┬─parent_id─┐
│  1 │ На исполнении               │         0 │
│  2 │ На исполнении с нарушением  │         1 │
│  3 │ На исполнении с переносом с │         1 │
│  4 │ На исполнении без нарушени�  │         1 │
│  5 │ Исполнено                   │         0 │
│  6 │ Исполнено с нарушением сро�  │         5 │
│  7 │ Исполнено с переносом срок�  │         5 │
│  8 │ Исполнено без нарушения ср�  │         5 │
└────┴─────────────────────────────┴───────────┘

Объявление таблицы в Postgres:
CREATE TABLE public.dim_exec_state (
   id smallint NOT NULL,
   name character varying(50) NOT NULL,
   parent_id smallint
);

Такое ощущение, что 50 байт и режет
Куда копать?

name character varying(50) NOT NULL  ?

Начать с объявления таблиц в postgres, как объявлено поле name

Всем привет!

Есть такая таблица ~ (148kk+ rows)

CREATE TABLE test_table (
  `_id` String,
  `title` String,
  `p1` Int64,
  INDEX title_ngram_index title TYPE ngrambf_v1(3, 10240, 1, 0) GRANULARITY 1
) ENGINE = ReplacingMergeTree() PARTITION BY substring(_id, 1, 1)
ORDER BY
  (_id) SETTINGS index_granularity = 8192


Делаю из нее выборку 

WITH
    2 AS distance,
    ['Bost'] AS pattern,
    multiSearchFirstPositionCaseInsensitive(title, pattern) AS mSearchPosCaseInsensitive,
    ngramSearchCaseInsensitive(title, pattern[1]) AS ngSearchCaseInsensitive
SELECT
    title,
    mSearchPosCaseInsensitive,
    ngSearchCaseInsensitive
FROM test_table
WHERE multiFuzzyMatchAny(title, distance, pattern)
limit 25

запрос читает 700к строк

но как только появляется order by, то сразу количество строк становится равным размеру таблицы
в какую сторону копать?

как ты отсортируешь без полного чтения таблицы?