А можно не скромный вопрос, вы случаем не в "электронную Москву" недавно устроились работать? 😁

Можно.Но вы ошиблись)

Тогда хорошо, а то был я там на собеседование как-то два раза 😁

А с чего такое предположение ?))

Ну так то да, но с другой стороны объяснять реляционки, неструктурированные документы, колоночные и прочее, явно надо не тут, а на более раннем этапе...

А как жить с незакрытыми блокамин а hdfs ? типа приложенька начала писать блок, подохла, попытка чтения файла вызывает проблемы после этого.

"городская тематика - Москва"

справедливо )

If a close hasn't been committed to the file, the associated blocks/files disappear in both
client crash and namenode crash scenarios.

он по умолчанию так не делает вроде ?

Нет нет) Есть портал открытых данных Москвы.
Вот и хотелось узнать, кроме правительства в РФ ещё кто-то занимается БД. Что открыто,что нет, какие Приложения и Т.д.
Технически часть меня не интересует, мне надо понять,что есть на рынке))

чёйта

а что он у тебя кажет при попытке доступа к нему?

ну тойта ) у меня вот проблема, влюм писал писал, и коннекшон пропал, потом флюм сдох, и вернулся чистенький, в результате сейчас один из файлов с ошибкой Cannot obtain block length for....

*флюм

при чем самое странное, если по логам смотреть, то видно что флюм умудрился сделать ренейм файлика, потому что allocate block для другого имени, тоесть для live файлика, если понимаешь.

When a failure occurs, unclosed files are deleted.

Ну я крутил пару вещей из открытых данных, но не понимаю суть вопроса. Есть данные, какие нужны, такие забирай, обычно под каждый источник нужен свой инструмент ETL

если бы )
hdfs dfs -ls ....
-rw-r--r--   2 flume hadoop        631 2016-08-23 00:03 /flume/....

Угу,они есть и все так как ты говоришь))
Но мне интересно, что ещё есть кроме правительственных ОД.
Я вот читал,что в Европе есть приложение (не гос) которе считывает неровности на дороге (составляет отчет,выявляет проблемные места,статистика,аналитика) и отправляет результат в правительство, а те уже реагируют. Т.е. огребают проблему до обращения с жалобами)Прогнозы и все такое))
Вот и интересно, что есть в РФ и самое главное где можно посмотреть,почитать)