DS
Первый это кастомная обертка над тензором на базе tensorflow/rust
Size: a a a
2021 July 13
DS
Мы его допилили чтобы оно ело трансформеры
AB
О, а выложить на crates?
DS
Еще инструменты для анализа текса, нарезки больших массивов тестовых данных
AP
Надо держать в памяти окно, достаточное для поиска границы, остальное пофайлоыо стримить на диск, а что не файлы то по значениям формы
b
собственно в этом и был затык : не совсем понятно какой интерфейс, и делать ли al-la Mojo (синхронная запись на диск прилетевших байтов) или асихронно (в другом потоке). Если есть идеи/предложения - велкам.
DS
В процессе еще небольшой супервизор для докера с поддержкой винды/макоси/линуксов. Ну и грядет кластер менеджер для распределенного обучения наших же трансформеров
DS
Он бесполезен, наши трансформеры весьма специфичны
MG
если оно заработает в принципе, то это норм, по крайней мере с FCGI я так и делаю - сам скрипт работает на FCGI, а обрабатывает запросы через CGI::Simple. И кстати, тогда размер загружаемого файла можно ограничить прямо в CGI::Simple.
AP
Я пробовал аио, но в итоге отказался
DS
Ну в смысле для комунити бесполезен
EV
почему?
b
Ну это "implementation/platform-defined". В lib-uv, оно просто на другом потоке (системном) пишет на диск. От конечного пользователя это абстрагировано (в перле просто дёрнется колбек, когда операция завершится)
AP
Я не помню почему отказался, возможно, на моджо посмотрел ;)
AP
Аио нормальный вариант, считаю
b
линукс-онли
b
ща iouring модно )))
AB
а зачем что-то другое?
AP
Именно от залива огромных файлов я окно только в памяти держал для поиска границы - 2 последовательных буфера
AP
Разве?