Интересно, а можно пачку данных загрузить в рам и пока на ней ведётся обучение, скачивать другую по сети на диск

Или как-то по-другому обойти это ограничение

Можно просто примонтировать туда свой диск

через sshfs

о, ну хоть какой-то вариант, спасибо. но какая будет скорость тогда? сетку не научить, если ей действительно много данных надо.

Ну упирается в скорость сети, да

ограниченая пропускной возможностью сети

картинки читаются >100 мбайт/сек обычно. звук ну 40 мбайт/сек, там может хватит если аккуратно делать. а для текста хватит.

Терабайт текста это жестко, даже gpt-3 на меньшем корпусе учили

да, верно, для текста хватит и хранилища.

Там дело такое, если сеть гиговая - то будет упираться в жесткий диск и пинг сети

О, кстати, а есть ли в Москве ноды с гигом не за конские цены? Гарантия не нужна

0.02 бакса за гигабайт на васт.аи трафик, в среднем. Терабайт просто закачать это уже 20$. Тут вполне могут быть выгоднее более дорогие сервисы, но с анлимом по сетке

Сбер на 600 Гб его обучал, вроде

Если интересно, ищу 1-2 датасайентиста для сдачи в аренду своего сервера. Карточка 2080ti, интернет 100 мбит, хард 16Тб RAID1. Оператива 32Гб.
Доступ через shell и веб-интерфейс (jupyter).
Пока собираю желающих. Настрою софт на сл неделе.
Оплата постфактум, когда закончите обсчёт своей задачи. Можно тоже $0.2/час, но деньги в принципе не самоцель.

Добрый день. Поделитесь плиз опытом. Есть задача в реальном времени быстро находить бренд в строке. Вопрос не в том каким образом его находить (через левенштейна, регулярки, словари и т.д.), а в том, какой способ позволит делать это максимально быстро, при условии что есть таблица в БД с брендами на несколько сотен тысяч записей. На вход подается строка, в которой может присутствовать бренд. Сейчас я для скорости подгружаю бренды в редис, чтобы искать в оперативке. Но может есть какой то  общий правильный подход чтобы было не O(n), а быстрее, может можно как то векторизовать это все и держать в заранее подгруженной модели. Из того что пробовал: https://bergvca.github.io/2017/10/14/super-fast-string-matching.html и его инструмент string_grouper https://github.com/Bergvca/string_grouper

Строите DFA

Спасибо, почитаю