Size: a a a

2020 October 22

AT

Al T in AWS_RU
Danil
Не могу понять, почему athena/glue видят мои таймстемпы вот таким образом "+52522-12-12..." +52522 это год если что. Конвертнул с помощью пандас из csv в parquet. Пандас показывает, что колонка имеет тип datetime64.
Crawler тоже распознал как timestamp, но в афине вот такое
сталкивался кто-нибудь с подобным или это лучше к датасатанистам?
Show create table покажете?
источник

D

Danil in AWS_RU
Al T
Show create table покажете?
CREATE EXTERNAL TABLE `webprd_iis`(
 `s_ip` string,
 `cs_method` string,
 `cs_uri_stem` string,
 `cs_uri_query` string,
 `s_port` bigint,
 `cs_username` string,
 `c_ip` string,
 `cs_user_agent` string,
 `cs_referer` string,
 `cs_host` string,
 `sc_status` bigint,
 `sc_substatus` bigint,
 `sc_win32_status` bigint,
 `time_taken` bigint,
 `datetime` string)
PARTITIONED BY (
 `hostname` string,
 `svc` string)
ROW FORMAT SERDE
 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT
 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION
 's3://***WEBPRD/IIS/'
TBLPROPERTIES (
 'CrawlerSchemaDeserializerVersion'='1.0',
 'CrawlerSchemaSerializerVersion'='1.0',
 'UPDATED_BY_CRAWLER'='iis-logs-parquet',
 'averageRecordSize'='6',
 'classification'='parquet',
 'compressionType'='none',
 'objectCount'='196',
 'recordCount'='13488318',
 'sizeKey'='171943168',
 'typeOfData'='file')
источник

D

Danil in AWS_RU
ой, это я уже перезалил со строковым типом
источник

D

Danil in AWS_RU
datetime string - тут "timestamp" был
источник

AT

Al T in AWS_RU
Ok а пример значения из поля которое в пандас? Вот ссылка на описание формата timestamp в athena
источник

AT

Al T in AWS_RU
источник

D

Danil in AWS_RU
Да это я видел, но паркет же бинарный формат, а в пандасе to_datetime не предполагает выбора выходного формата времени
Впрочем возможно стоит строковые таймстемпы дополнить ".000", чтобы миллисекунды тоже конвертнулись. Попробую
источник

AT

Al T in AWS_RU
Danil
Да это я видел, но паркет же бинарный формат, а в пандасе to_datetime не предполагает выбора выходного формата времени
Впрочем возможно стоит строковые таймстемпы дополнить ".000", чтобы миллисекунды тоже конвертнулись. Попробую
ну там просто описано в каком формате нужно писать в  parquet c полем timestamp чтобы при чтении его из athena(presto) у вас получилось то что вы хотите получить. если у вас не получается писать в таком формате, ну наверно нужно другой тип поля использовать тогда
источник

D

Danil in AWS_RU
Я думал, что это применимо к текстовым форматам, а если я пишу в бинарный, то сам формат паркета должен понятным для presto образом хранить данные Видимо ошибался
источник

IG

Ilya Golubev in AWS_RU
Всем привет, у вас может есть знакомые программисты, знающие Go Lang, которые готовы на аутсорсе поработать?
источник

AT

Al T in AWS_RU
Тут не любят Хантинг без указания деталей и вилки - админы очень суровые
источник

IG

Ilya Golubev in AWS_RU
Если кратко. То у нас backend написанный на Go, нужна его поддержка, плюс написание интеграций по API с другими сервисами. Вилка - 25+ USD в час, все индивидуально.
источник

VT

Vladimir Tselm in AWS_RU
а при чем тут авс?
источник

IG

Ilya Golubev in AWS_RU
Да не причем ( AWS тут в том, что все развернуто на AWS в Амазоне, одна из задач - получение пароля к базе через Secret Manager.
источник

DK

D K in AWS_RU
Ilya Golubev
Если кратко. То у нас backend написанный на Go, нужна его поддержка, плюс написание интеграций по API с другими сервисами. Вилка - 25+ USD в час, все индивидуально.
Имхо, мало. Сходи в спец чатик по го там есть по вакухам ссылка
источник

JR

Jürgen Romins in AWS_RU
Ilya Golubev
Да не причем ( AWS тут в том, что все развернуто на AWS в Амазоне, одна из задач - получение пароля к базе через Secret Manager.
тогда это позиция к теме чата совсем не относиться
источник

MA

Margarita Andrianova in AWS_RU
подскажите, пожалуйста, как перенести инстансы elb или rds в одну AZ, если нет нужды в multi. У меня в default vpc rds  встала в одной зоне, а инстансы в другой. Не могу найти как это изменить. Проблема в том, что начала взиматься плата за перегон данных между зонами( Регион один и тот же если что
источник

S

Sebor in AWS_RU
Margarita Andrianova
подскажите, пожалуйста, как перенести инстансы elb или rds в одну AZ, если нет нужды в multi. У меня в default vpc rds  встала в одной зоне, а инстансы в другой. Не могу найти как это изменить. Проблема в том, что начала взиматься плата за перегон данных между зонами( Регион один и тот же если что
Насколько помню, либо пересоздать, либо поиграться с созданием реплики и последующим переключением на нее
источник

MA

Margarita Andrianova in AWS_RU
источник

MA

Margarita Andrianova in AWS_RU
проблема в том, что я не могу найти выбор AZ при создании
источник