rG
Мне нужно самостоятельно добывать дату в Табло.
Size: a a a
2021 June 27
rG
Я еще пайспарком думал пользоваться. Нужен ли он мне..
AB
Тут есть ньюансы первый из которых какой яп лучше знаешь, ну и дальше по списку
rG
С++ давно давно не юзал. Питон и пандас сейчас изучаю.
rG
Ну как. Питон не новичек но и не гуру) нейронку писал.
AB
Ну тогда погляди туториалы и че будет лучше получаться то и фигач, если ты в процессе изучения то оптимального решение всё равно врядли требуется 👆😁
rG
Туторилы есть? Это отлично. Мы же про спарк?)
rG
Я вдруг подумал про формат туториалов как с инейронками. В колаборатории. Но что-то тут я не представляю формат)
AB
про спарк кафку кассандру - погугли есть много примеров - берешь и делаешь - выбираешь что получше
rG
Ангийского много. Русское думал подскажут) хотя не принципиально.
AB
на русском тоже должно чтото быть
AB
полюбому
rG
Ладно, спасибо за внимание)
AB
2021 June 29
K
привет
K
Переслано от KrivdaTheTriewe
ребят, а какого процессинг рейта вы добивались спарком стракчар стримиинг на экзекьютор, если идет обычный avro -> parquet
K
Переслано от KrivdaTheTriewe
у меня странная ситуация, что 40 ядер не могут 180к событий в секунду обработать
N
Привет. интересная задача. у меня нет такого опыта, но поговорить интересно ). если это микробатч стриминг,то ведь он запускает джобу на каждую пачку. может пачки маленькие .?
t
смотри че с распределением тасков по воркерам
K
поставил 45 ядер, но по 1 на экзекьютор, скорость выросла в 8 раз