GP
как вариант можно конечно байнари читат и парсить нормальным парсером) тобишь свой датасорс запилить еще лучше будет))
Size: a a a
2018 November 12
PK
Заебись совет, Гриш ))
GP
Но да ты попробуй утф8 хардкодить + мултилайн
PK
При чем я с этим говном сталкиваюсь раз в полгода где-то, а воз и ныне там.
GP
помоему оно только так _может заработать_
PK
Так в пайспарке энкодинг utf по-умолчанию, а multiLine=True я передаю
GP
Так в пайспарке энкодинг utf по-умолчанию, а multiLine=True я передаю
PK
Все, разобрался. Надо было просто так вызывать spark.read.csv("data.csv", escape='"', multiLine=True)
GP
а как вызывал?
K
как вариант можно конечно байнари читат и парсить нормальным парсером) тобишь свой датасорс запилить еще лучше будет))
Я знаю, что мои индусы форкнули цсв ридер из за похожей фигни
K
Но не смержили его
PK
а как вызывал?
Без escape='"'
AS
https://github.com/apache/spark/pull/16976
предлагают через option("wholeFile", true)
предлагают через option("wholeFile", true)
GK
Всем привет! Подскажите, пожалуйста, есть ли какие-то удобные инструменты для мониторинга табличек в хайве (например, статистики по колонкам, количество строк и прочее)
2018 November 13
PK
Всем привет! Подскажите, пожалуйста, есть ли какие-то удобные инструменты для мониторинга табличек в хайве (например, статистики по колонкам, количество строк и прочее)
Привет! Зависит от того, что тебе надо. Всякие базовые статистики можно самим хайвом собирать https://cwiki.apache.org/confluence/display/Hive/StatsDev. Они будут доступны в метасторе, а мониторить их можно чем угодно. Но тебя, видимо, data quality/data profiling style интересуют. Их довольно много, большая часть из тех, что я находил, встроены в какой-нибудь суровый энтерпрайз, а все остальные какие-то убогие. Хотя, относительно недавно появилась вот эта штучка http://griffin.incubator.apache.org/#
GK
Спасибо большое!
2018 November 19
PK
Привет! Такой вопрос. Юзаю pyspark sql, прочитал табличку из постргреса, закешировал ее, в UI вижу что в памяти 100% размер 4 мегабайта. Потом над этим датафреймом сделал преобразование (в том числе pandas_udf) закэшировал, в UI показывается, что закэшировано 10%, типа 400кб. Запускаю в локальном режиме для тестов, под драйвер выделено 30 гигов оперативы. И что за ерунда такая?
2018 November 20
AA
Ребят, подскажите что-то не нагуглю никак. Я так понимаю обычный селект колонки датафрейме будет невалиден если колонка будет представлять путь к файлу, тоесть содержать обратный слеш?
AA
cannot resolve '`\server.local\A`' given input columns