A
это я разгребаю датасет толоки и подготавливаю к своей нейросеточке
Size: a a a
2020 April 30
m
много .write + .flush вконце
A
ага и еще \n руками
A
ну можно конечно
A
но у меня это не самое узкое место
m
Ну ты прикалуешься? Мне как бы надо было загрузить данные, подсчет - это просто проверка что они вообще целиком загружаются )
есть pd.read_csv
A
вот другое дело что парсилка диалога это разгребание html. А вытащенные строчки оттуда реально копируются
AP
это нечестно, лол, ты в бидоне тупо читаешь строки по одной
Все честно, в либе построчно считывается
m
вот другое дело что парсилка диалога это разгребание html. А вытащенные строчки оттуда реально копируются
можешь оффсеты с длинами вытаскивать
m
неудобно конечно, но что поделать
A
и если бы я писал на си, я б так и сделал
m
я помню как писал код для диплома и питон уделал оптимизированую многопоточку на с++
m
но там был торч
A
но в данном случае - не особо надо. Потому что эта парсилка запускается 1 раз, а потом несколько десятков часов обучения нейросетки
m
причем на крестах с 100% утилизацией цпу считается ~26 часов, а на торче полторы минуты
A
торч небось в гпу ссылает
m
потом мой научрук сказал - поднимите параметр S на единицу
m
торч охуел пытаясь аллоцировать тензор на 1 тб
m
торч небось в гпу ссылает
у меня интеграшка