i
либо просто #вакансия
Size: a a a
2021 March 04
AU
Когда публикуешь контактные данные в вакансии хх, начинают писать всякие промоутеры каналов в ВК и хедхантинговые конторы
AU
"за 2т.р. разместим вашу вакансию в пабликах ВК в 450 тысяч человек, найдете работника за пару дней!"
Заходишь туда, а там поваров да дворников ищут.
Заходишь туда, а там поваров да дворников ищут.
K
эт самое, мб кто знает по какой дорожке лучше пойти, в общем мне сказали тут "теперь ты hadoop сопровождаешь" а я ваще не алё, есть какойнить изи вей локально поставить, типа как у кубера hard way, что бы хоть приблизительно понимать чё там и к чему и для чего делается?
AU
Kirill
эт самое, мб кто знает по какой дорожке лучше пойти, в общем мне сказали тут "теперь ты hadoop сопровождаешь" а я ваще не алё, есть какойнить изи вей локально поставить, типа как у кубера hard way, что бы хоть приблизительно понимать чё там и к чему и для чего делается?
можно, конечно же. ставь и играйся.
K
можно, конечно же. ставь и играйся.
да понятно что можно, кто бы мб сказал что "лучше вот по этой ссылке посмотри, я делал, тут норм"
K
в гугле ппц инфы, споткнуться 35 раз конечно можно, но мб кто уже делал и знает где лучше
AU
сам не делал, звиняй. пользовался преупакованными образами от амазона в авс.
K
для начала думаю попробовать https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
ВИ
https://www.youtube.com/watch?v=HVqVEQb991c&feature=youtu.be
Вчера еще митап про Bigdata прошел
Пока полностью не смотрел, ничего сказать не могу, но организовано неплохо
Вчера еще митап про Bigdata прошел
Пока полностью не смотрел, ничего сказать не могу, но организовано неплохо
Смотри, может тут чтото полезное было
ВИ
Еще в @devops_ru у нескольких человек точно хадуп был
K
Смотри, может тут чтото полезное было
смотрел, небыло)
ВИ
а, жаль)
а я пока только пару докладов послушал
а я пока только пару докладов послушал
AU
хадуп очень по-разному можно запускать. амазоновский, например, сконфигурирован брать все из S3 и складывать результаты тоже в S3. по твоей ссылке хадуп вообще можно запускать одной строчкой - "
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'"AU
весь хадуп - взять данные из инпут, замапить их (map), обработать их (reduce), и сложить в аутпут.
AU
просто шаг map и reduce можно распределить на много компов, чтобы было быстрее.
K
весь хадуп - взять данные из инпут, замапить их (map), обработать их (reduce), и сложить в аутпут.
🤔
K
просто шаг map и reduce можно распределить на много компов, чтобы было быстрее.
в том числе и ~1000ядер в кластере, там на не занятые распределяется нагрузка?
AU
Kirill
в том числе и ~1000ядер в кластере, там на не занятые распределяется нагрузка?
для этого в хадупе есть scheduler, который задания разным нодам и ядрам выдавать будет.
AU
весь хадуп - взять данные из инпут, замапить их (map), обработать их (reduce), и сложить в аутпут.
но принцип соблюдается в любом случае. хоть на одном ядре, хоть на 1000+