14 октября факультет "Data Science и Аналитика" Нетологии проведёт бесплатный День открытых дверей.

Вот что успеем за 3 часа:
— объясним, что такое Data Science, Big Data и Machine Learning простыми словами.
— подскажем, как начать карьеру в Data Science c любым опытом: от сейлза до веб-аналитика. Или без опыта вовсе
— ответим на все вопросы, которые появятся за время встречи.

День открытых дверей пройдёт онлайн.

Обязательно зарегистрируйтесь, чтобы получить запись встречи и дополнительные полезные материалы: http://netolo.gy/fTE

а чем мне юпитер поможет в дибаге ? Помоему через IDE удобнее.

Jupyterlab

jupyter labextension install @jupyterlab/debugger

дебагал пару раз модельку на сервере через vscode, полет нормальный

я кстати то вижу сейчас что ram cpu на сервере хавается. Как запросить ресурсы, как в srun ?

не вспомнишь, там торч показывало что cuda работает ?

ну я просто через консольку дебаггера убедился, что нужные мне тензоры и моделька на гпу лежат

а цп больше не запрашивал как то ?
Может гп и работает, это дальше в коде, чем то для чего нужно больше рама

не, у меня там все проще было)
кстати, а в чем собственно проблема с торчом?

я тут мимопроходил просто, и кажется что это уже продолжение обсуждения какой то проблемы

torch.cuda.is_available показывает что фолс

а, не знаю, это вроде новенькое

пробовал торч и куду обновлять?

а оно так только через римоут, видимо я не до конца понимаю как его юзать с ресурсами, что с гп что с цп

если на сервере напрямую все норм

Использую алгоритм и архитектуру из статьи, на свою дату. Происходит взрыв градиентов и отсюда взрыв weights.
В целом там FC 4 слоя. Тренируются поочередно, сначала только первый, потом первый и второй и т.д.
Во время тренировки 4-ого слоя, в первом же эпоке где-то на 41-ом батче из 551.
Первые 3 слоя выглядят норм, в последнем слое в степени 24, 27. Последний и в енкодере и в декодере.
В архитектуре используется leaky_ReLU после каждого слоя энкодера кроме последнего, и после каждого слоя декодера кроме первого, архитектура as is в статье.

в архитектуре изначально нет bn. Не знаю по каким соображениям.
https://github.com/shahsohil/DCC/blob/master/pytorch/SDAE.py

не хотел сильно лезть в сетку, так как она из статьи,  в которой в таком виде была проверена на 10+ датасетах.
Какие самые безобидные (без изменений или минимальные) методы есть:
1. есть работающий бн
2.  видел, что можно попробовать уменьшить размер батча. (сомневаюсь в данном раскладе что это что то изменит)
3. clip_grad_norm
4.  L2

как посоветуете в данном случае поступить ?
Проверял с бн, проблему решает, но сколько он будет тренироваться при таком раскладе я не знаю.

Ребята, как засабмить на кегл файл через тетрадку ? Ну то есть можно не публиковать код , а просто файл загрузить в тетрадку и засабмитить ? Как это сделать ?

Если у тетрадки есть output, кликаешь на файл который надо засабмититт и чудо

Либо просто генеришь сабмит и загружаешь его
Но не все соревнования такое поддерживают

а дибаг таким способом можно делать использую srun ?
то есть чтобы после —pty стояло то что позволит дебажить используя запрашиваемые ресурсы ?