Лучше чем без них

Зато есть и релевантная информация :)
Завтра утром (с 10 по Москве) пройдёт бесплатный онлайн вебинар «Использование нейросетей для задачи поиска и выделения из текста ФИО»

Ссылка для регистрации https://newtechaudit.ru/onlajn-vebinar-2/

А запись потом будет где-нибудь?

Скорее всего будет

@bigdata_en for english please

Используй efficientnet b4-b7, resnet и тем более vgg, не очень сильные сети на данный момент

76% для них норм результат, для 85% нужно что-то мощнее, вероятно

Только не надо сразу добавлять dropout, вероятнее всего, он вообще не нужен, просто аугментируй данные и все. Batch norm добавляет регуляризацию, но вместе с dropout может давать не лучшие эффекты

В keras (tensorflow) есть какой-то callback, чтобы запоминал (хотя бы) эпоху, в которой наилучшие результаты?

Есть сохранять модель или веса:
keras.callbacks.ModelCheckpoint('./model_name.hdf5', save_best_only=True, mode = "min")

Спасибо, подзабыл, что такая опция есть. А еще, есть ли гайд, как в процессе обучения регулировать, например, learning_rate?

Ну можно вручную, а есть и колбэк

keras.callbacks.ReduceLROnPlateau()

А так, пары правил достаточно:
- если loss дико скачет с самого начала, растет там и т.д., то lr слишком большой
- если loss падал на постоянном lr и перестал, то стоит попробовать уменьшить lr, например в 3 или в 10 раз, и так пока модель точно не перестанет учится т.е. оптимум примерно достигнут

Если vall_acc продолжает расти, а val_loss не падает, ставить modelchecpoint на val_acc? Он стоит на val_loss по дефолту

Да

Вечер добрый! Кто-нибудь видел статьи (на arxiv.org, к примеру) с исследования на каких вычислительных архитектурах лучше выполнять Inference и обучение нейронных сетей (желательно различных архитектур (CNN, LSTM (GRU), GNN))?

А какие варианты?)

Кластер с CPU или с GPU.
Интересно как обстоит ситуация с обучением и исполнением на гетерогенных системах в целом.

+Intel пытается занять свою нишу в ML, конструируя свою видеокарту и доделывая OpenVINO, который будет давать (или уже дает, я еще не успел над этим поработать) возможность запуска слоев сети на разных вычислительных устройствах|блейдах кластера, что побуждает посмотреть насколько GPU уделывает CPU

CNN всегда на GPU, т.к. там легко векторизуемые вычисления