Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 October 08

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
а дибаг таким способом можно делать использую srun ?
то есть чтобы после —pty стояло то что позволит дебажить используя запрашиваемые ресурсы ?
по ходу оно так и работает. Надо подружиться с джлабом.
источник

AB

Arcady Balandin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ilya
а дибаг таким способом можно делать использую srun ?
то есть чтобы после —pty стояло то что позволит дебажить используя запрашиваемые ресурсы ?
Если  прямо совсем все плохо и через командную строку никак то можешь даже веб-версию vscode поставить прямо туда, на сервер. А что, только на кластере работает? На одной машине никак? И сисадмина никак помочь не могут с настройкой доступа?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Arcady Balandin
Если  прямо совсем все плохо и через командную строку никак то можешь даже веб-версию vscode поставить прямо туда, на сервер. А что, только на кластере работает? На одной машине никак? И сисадмина никак помочь не могут с настройкой доступа?
не, оно так задумано, пользование на несколько десятков людей, чтобы очереди был  и тд.
источник

AB

Arcady Balandin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А на части датасета проверить на локальной машине тоже не пойдет?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Arcady Balandin
А на части датасета проверить на локальной машине тоже не пойдет?
доступа к самим нодам насколько я понимаю нет.
Ну я плюс минус так сделал в итоге.
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
просто интерес на будущее, как удобнее всего
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
чтобы с ресурсами как в srun-e.
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Arcady Balandin
А на части датасета проверить на локальной машине тоже не пойдет?
а дебажил через римоут, а на сервере через srun готовил все нужное (обработка и обучения - сохранения в файлы и лоадинг потом с римоута).
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ок
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dima
Либо просто генеришь сабмит и загружаешь его
Но не все соревнования такое поддерживают
Я и хочу сам посчитать и отправить , но там только тетрадь
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Спасибо за совет..
источник

КЧ

Кирилл Чертоганов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Но нужно просто загрузить через тетрадку на сервер, но расчеты я хочу делать на своей машине, и не показывать кеглу код
источник

I

Ivan in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Можно сделать тетрадку, которая просто запишет в файл
источник

ej

elton john in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет, не поделитесь ли каким-нибудь интересным опенсорсным проектом? в унике дали задачу собрать проект и скормить ему какой-нибудь датасет
источник

DD

Dima Dzundza in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
elton john
Всем привет, не поделитесь ли каким-нибудь интересным опенсорсным проектом? в унике дали задачу собрать проект и скормить ему какой-нибудь датасет
Добро пожаловать на kaggle.com или paperswithcode.com
источник

ej

elton john in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dima Dzundza
Добро пожаловать на kaggle.com или paperswithcode.com
там можно чужие проекты чекать?
источник

DD

Dima Dzundza in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
elton john
там можно чужие проекты чекать?
Да
источник
2020 October 09

n

novicer in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
добрый день! подскажите, пожалуйста, не могу придумать решение: нужно из датасета пандас оставить только те строки, которые содержат минимум 3 уникальных набора по 1 из столбцов при фиксированном 2ом столбце
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
novicer
добрый день! подскажите, пожалуйста, не могу придумать решение: нужно из датасета пандас оставить только те строки, которые содержат минимум 3 уникальных набора по 1 из столбцов при фиксированном 2ом столбце
То есть оставить строку а, только если существуют b,c так что a[1]!=b[1]!=c[1] но а[2]=b[2]=c[2]?
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник