NM
у питона по сей день не решена проблема с многопточностью.
То есть не решена проблема с многопоточность? Она работает криво или не робит?
Size: a a a
2018 March 19
B
В общем суть задачи заключается в распределений обработке видео(транскодирование). Есть кластер Disco, 1 мастер и несколько воркеров. На каждом воркере ffmpeg, и ряд видеофайлов. Написать программу, которая обеспечит распределённую обработку видео, и отказоустойчивость
dc
То есть не решена проблема с многопоточность? Она работает криво или не робит?
Робит , но там используется Global Interpreter Lock (GIL) и он то и является узким местом запуская потоки по очереди тоесть в конкретный момент времени работает только один поток , остальные ждут
B
Это если коротко
dc
Это если коротко
есть разница на каком хяыке писать?
ВП
ну в планах потом обновлять список. исключать из поиска те, которые уже были найдены и добавлять новые
план такой (без асинхронщины и трединга):
1) через itertools.combinations( пардон, вчера дал вредный совет, не ту функцию посоветовал)
генерим файл со ссылками
2) Потом читаем построчно файл и шлем запросы
3) Если страница нужная - сохраняем линк в базу
4) ???
5) Профит!
1) через itertools.combinations( пардон, вчера дал вредный совет, не ту функцию посоветовал)
генерим файл со ссылками
2) Потом читаем построчно файл и шлем запросы
3) Если страница нужная - сохраняем линк в базу
4) ???
5) Профит!
NM
Робит , но там используется Global Interpreter Lock (GIL) и он то и является узким местом запуская потоки по очереди тоесть в конкретный момент времени работает только один поток , остальные ждут
Получается это обычная работа программы по времени(ну может больше) просто разбита на части которые должны выполняться независимо?
B
есть разница на каком хяыке писать?
Разницы особо нет, но disco обычно работает с питоном
dc
я не много не понял вороса. если что вот статья почитайте может она поможет вам найти ответы https://habrahabr.ru/post/84629/
NK
кстати, на счет многопоточности. я слышал, что го ориентирован на решение подобных задач. кто нибудь знаком с данным ЯП? стоит ли касатся его?
NM
я не много не понял вороса. если что вот статья почитайте может она поможет вам найти ответы https://habrahabr.ru/post/84629/
Спасибо
dc
ID:531712981
кстати, на счет многопоточности. я слышал, что го ориентирован на решение подобных задач. кто нибудь знаком с данным ЯП? стоит ли касатся его?
Golang прекрасный язык. после си и perl это первый язык который вызвал у меня восторг . он шикарен
ВП
ID:531712981
кстати, на счет многопоточности. я слышал, что го ориентирован на решение подобных задач. кто нибудь знаком с данным ЯП? стоит ли касатся его?
стоит) го - бэкэнд будущего
B
я не много не понял вороса. если что вот статья почитайте может она поможет вам найти ответы https://habrahabr.ru/post/84629/
Я не про многопоточность, тут на разных машинах будет обработка
NM
Тогда другой вопрос. В каком языке многопоточность робит нормально? Ну конечно язык хотелось бы найти не самый сложный.
ВП
Я не про многопоточность, тут на разных машинах будет обработка
так один хрен параллельные вычисления) выбор очевиден
B
так один хрен параллельные вычисления) выбор очевиден
Не понял, какой выбор?😁
dc
Тогда другой вопрос. В каком языке многопоточность робит нормально? Ну конечно язык хотелось бы найти не самый сложный.
юзай golang
ВП
Не понял, какой выбор?😁
ту гоу о нот ту гоу)))
dc
в perl тоже полностью реализована многопточность но он интерпретируемый и динамически типизируемый... скорости ему не хватит а go lang может все.