скорее всего pandas что-то типа bulk insert делает, поэтому и такие траблы с текстовым полем

или даже COPY

да вроде обычный инсерт она делает
https://github.com/sqlalchemy/sqlalchemy/issues/5038

pandas не делает вообще ничего. Он отдает словарь движку, который уже работает с ним

ну движок разворачивает...разница невелика :)

а тут не видно, как запрос делается...скорее всего не через pd.to_sql

Так проблема только в разделителе была?
если так то почему не попробовать разные ? например табуляцию '\t'

@RBulgakov что именно попробовать? :)

Описанная тут проблема, мне думается нужно при отправке df в бд задать опцию для разделителя например \t если нужно то могу функцию для python сбросить

где её задавать? :)

нет в методе to_sql таких параметров

а что у вас за БД ?

vertica

К сожалению не знаком с такой БД, но как вариант можно сохранить данные в csv, а уже файлом передать в БД.
Как показывает практика через файл все равно быстрей загружаются данные в БД
tmp_df = "./tmp_dataframe.csv"
df.to_csv(tmp_df, index=False, header=False, sep='\t')
где sep как раз параметр разделителя

@RBulgakov я это всё прекрасно знаю :) Вопрос был про конкретную ситуацию и конкретную БД

Возможно есть что то что поможет загрузить файл в данную БД через python, тут уже погуглить нужно, это самый примитивный и эффективный способ загрузки данных в БД, по этому он должен быть.

у меня нет проблемы загрузить данные из файла :)))

слушайте, возвращаясь к вопросу построения визуализаций.

Какой из фреймворков позволяет выплевывать график в виде картинки, а потом выделять мышкой и пересчитывать показатели в области?
Мне просто кажется, что перегружать клиента рендером точек будет глупо. Heatmap, конечно, выход, но мне  нравится просто набор полупрозрачных точечек.
Кажется, что  не стоит нагружать десятком тысяч точек браузер клиента. Например, в altair есть лимит на 5000 точек и он же неспроста там есть.
Я посмотрел почти все любят рендерить на клиенте. Но неужели нет альтернативы?

Вот тут что то похожие видел, сам пока не пробовал
https://tproger.ru/translations/python-data-vizualization/