Классика мл, представления текста +/- отличия, иногда просят в общих чертах прояснить, сетки- построение, тюнинг, гиперметры.

Ну это кажется в целом про дип лернинг и нейронки. А именно что касается нлп? Кроме вот представления текста. Кажется могут за берт спросить это же по сути сота, наверное еще чуть более простые модели w2v / d2v. Спрашивают ли регулярки?

Ну а nlp это не dl и nn?)))

Могут про что угодно спросить. Я в одном месте большую часть про sql и паралельностью разговаривал. Зависит от конторы.

Не только

Ну да, но просто мб какая то своя специфика должна. Как напртмер аугментации текстов это совсем иное

Регулярки это чистое нлп

Я сам не очень много собесился и не очень много собесил, но есть ощущение, что общепризнанного в индустрии "джентльменского минимума" пока не сложилось.

Где-то будут просить жёсткие классические алгоритмы (ведь в том же условном Яндексе, знаменитом своими алгоритмическими задачами, многие из них вполне себе про тексты).
Где-то будут спрашивать про SOTA нейронки.
Где-то будут спрашивать про разные NLPшные задачи, способы их формализации и методы оценки качества: перевод, NER, морфологический анализ, суммаризация, и т.п.
Где-то вообще не будут спрашивать что-то конкретное, а просто интересоваться твоим опытом.

Cпрашивали алгоритмы c лайв-коддингом, классический ML, DL. По NLP конкретно говорили про LSTM/GRU, attention

Лайв кодинг lstm?

Не, на лайв секции былы задачки с нампай и колекциями. Перед этим было тестовое на алгоритмы. Но могут и попросить что-нибуть с литкода уровня medium. Кажется сейчас это стандартно просят

Лайв кодинг LSTM: from torch.nn import LSTM

Новый CS224N, автор BERT рассказывает про BERT и компанию https://youtu.be/knTc-NQSjKA

У меня есть в общем доступе такая штука https://manystat.ru/tools/seo_group_wordstat.html - поиграйтесь с ним :) насчет 10к не уверен - там обычный хостинг... попробуйте пару тысяч вставить. Фраза и частота, через tab. В виде дерева, на мой взгляд, это прикольно анализировать :)

Кстати, а есть какой-нибудь хороший сборник онлайн-инструментов для работы с текстами? Вот тот же топ n-грамм построить, нормализовать формы и т.п.?

Спасибо

Кто разбирается, подскажите, почему в свич трансформере не стакают слой с экспертами?

Просто не дошли руки ещё или есть какой-то подвох?

Там же в итоге они одного только выбирают жеж?

Лучшего

Да
Так над этим слоем поставить ещё один такой же