VF
Вы уже спрашивали это вчера!
Size: a a a
2021 September 15
M
У нас сложные процессы с плане СБ и защиты информацию + у нас иногда все-таки нужно приходить\приезжать в офис, не часто конечно, но бывает)
AS
EE
А что, это уже стандартный финт при обучении? Есть статьи где показана оправданость такой фильтрации?
DD
Я когда делаю андерсемплинг, то часть семплю равновероятно, а часть - стратифицированно по каким-то простым признакам, выбранным мною экспертно. Например, по датам или длинам сообщений.
d
Понятия не имею. Я же не настоящий NLPник :)
EE
Но это из раздела танцев с бубном или где-то есть убедительные эксперименты что так лучше?
d
Но условно, если у меня слишком много намайненных данных для seq2seq то какой смысл мне жечь электричество, скармливая похожие примеры
d
Чтобы нейронка уж точно запомнила, что яблоко это apple? :)
EE
Если тестовое распределение такое же есть смысл побольше показывать модели примеры из областей пространства входов с высокой плотностью.
DD
Танцы с бубном.
Обычно я так делаю, когда нужно разметить вручную небольшую выборку, и я хочу её перебалансировать в направлении большего разнообразия.
Но вообще вместо этого можно активное обучение фигачить.
Обычно я так делаю, когда нужно разметить вручную небольшую выборку, и я хочу её перебалансировать в направлении большего разнообразия.
Но вообще вместо этого можно активное обучение фигачить.
EE
Да. Нейронки же судя по последним данным тупо интерполируют.
d
seq2seq пусть будет переводчик с русского на английский.
Реально нужно больше примеров с привет и пока, так как часто встречается в письмах, что мы будем переводить?
Реально нужно больше примеров с привет и пока, так как часто встречается в письмах, что мы будем переводить?
d
Или можно смело выкинуть половину из них? :)
d
Если мы на письмах учимся, к примеру
EE
Трудно сказать. Нейронки очень неустойчивы. Не поставишь точку в конце - неправильно переведет привет. Если примеров много и важно их правильно переводить, я бы не стал их резать, пусть посмотрит на них в разнообразных контекстах.
AF
Ваш вопрос навел меня на одну идею, которую хочу применить в своей одной задаче, а в качестве инструмента андерсемплинга планирую применить это решение
http://glemaitre.github.io/imbalanced-learn/generated/imblearn.under_sampling.ClusterCentroids.html
http://glemaitre.github.io/imbalanced-learn/generated/imblearn.under_sampling.ClusterCentroids.html
ck
Привет. Подскажите, чем на Питоне перевести текст с английского на русский? Так чтобы точно, бесплатно и самое сложное - замапить слова между переводами.
Примерно так: Кот на коврике -> The cat is on the mat Кот = Cat, коврике = mat
Примерно так: Кот на коврике -> The cat is on the mat Кот = Cat, коврике = mat
SN
Во многих документах есть четкая структура, небольшие оглавления, названия параграфов. У них обычный шрифт, не выделены жирным, но человек может легко понять, что это вроде темы. Как можно было бы выявлять их?
A
как идея, на основе механизма bert-extractive-summarizer. он каждое предложение векторизует бертом, потом отбирает по ближайшим к центроидам.
здесь по аналогии. заголовок ближе ко всем остальным предложениям, чем какое-либо другое
гипотеза на попробовать
здесь по аналогии. заголовок ближе ко всем остальным предложениям, чем какое-либо другое
гипотеза на попробовать