NL
А словарь где взять?
Size: a a a
2020 August 20
AS
+учесть заглавную букву
AS
полно библиотек
NL
Например?
AS
hunshell
NL
Спасибо!
АН
Кому интересно, сейчас будет трансляция выступления Ивана Ямщикова, будет рассказывать о статье на тему Text Style Transfer, приходите послушать
https://youtu.be/KK7VruLo9vg
https://youtu.be/KK7VruLo9vg
VP
Привет!
VP
Anyone worked on text generation here?
VP
hey! вы работали с генерацией естественного языка?
GF
Anyone worked on text generation here?
Some of us did
GF
What is your question?
VP
Thanks for your reply! I was wondering if Markov chain is the only way to go about it? It's the only one I'm aware of as of now
GF
Thanks for your reply! I was wondering if Markov chain is the only way to go about it? It's the only one I'm aware of as of now
No,. it is not. Markov chains are quite old approach. You probably should read about modern approaches, such as neural network language models
here are some links on text generation
LSTM https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/
Transformers (
BERT https://arxiv.org/pdf/1902.04094.pdf ,
GPT-2 https://talktotransformer.com/ , https://minimaxir.com/2019/09/howto-gpt2/
here are some links on text generation
LSTM https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/
Transformers (
BERT https://arxiv.org/pdf/1902.04094.pdf ,
GPT-2 https://talktotransformer.com/ , https://minimaxir.com/2019/09/howto-gpt2/
VP
Ah, thanks, Grigory!
DP
а расскажите мне, дорогие сочатовцы, есть ли какие-нибудь работы почитать про системы подобные нейронкам по классам решаемых задач, но построенные снизу вверх, от оптимизации вычислений в гпу?
т.е. какой-нибудь исследователь берет все операции гпу, сравнивает какие из них больше вычислений могут сделать для обработки видео или звука, и на их основе строит модель?
извращения типа битовых операций, множестве чисел в 1 переменной и прочие радости демосцены, но примененные для обработки видео или звука в стиле нейронок
т.е. какой-нибудь исследователь берет все операции гпу, сравнивает какие из них больше вычислений могут сделать для обработки видео или звука, и на их основе строит модель?
извращения типа битовых операций, множестве чисел в 1 переменной и прочие радости демосцены, но примененные для обработки видео или звука в стиле нейронок
2020 August 21
A
Всем привет! Коллеги, решаю задачу классификации (коротких) текстовых сообщений. Количество классов ~ 1000. Задача сама по себе не сложная, но столкнулся с проблемой - изменения в методике классификации, которые проводились ранее.
Например, из класса А могли «выделить» класс В, или, наоборот, два класса А, В «схлопнуть» в один класс А и т. д. Данные ситуации приводят к существенному снижению точности классификатора.
Поделитесь, пожалуйста, своим опытом решения подобных проблем.
Например, из класса А могли «выделить» класс В, или, наоборот, два класса А, В «схлопнуть» в один класс А и т. д. Данные ситуации приводят к существенному снижению точности классификатора.
Поделитесь, пожалуйста, своим опытом решения подобных проблем.
DP
Всем привет! Коллеги, решаю задачу классификации (коротких) текстовых сообщений. Количество классов ~ 1000. Задача сама по себе не сложная, но столкнулся с проблемой - изменения в методике классификации, которые проводились ранее.
Например, из класса А могли «выделить» класс В, или, наоборот, два класса А, В «схлопнуть» в один класс А и т. д. Данные ситуации приводят к существенному снижению точности классификатора.
Поделитесь, пожалуйста, своим опытом решения подобных проблем.
Например, из класса А могли «выделить» класс В, или, наоборот, два класса А, В «схлопнуть» в один класс А и т. д. Данные ситуации приводят к существенному снижению точности классификатора.
Поделитесь, пожалуйста, своим опытом решения подобных проблем.
делать сеть в которой есть 2 слоя в конце:
предпоследний слой с 100 000 классов, явно больше чем когда-либо будет нужно
последний слой с 1000 классов. при обьединении или разделении класса достаточно перетренировать только последний слой, или даже отдельные нейроны, если границы остальных классов не задеты
предпоследний слой можно тренировать с функцией ошибки на основе ортогональности (независимости, отсутствии корреляции классов) и на основе равнозначимости (простой случай - дропаут, средний - штраф за веса близкие к 1, сложный - считать корреляцию активности каждого из классов с активностью классов последнего слоя)
предпоследний слой с 100 000 классов, явно больше чем когда-либо будет нужно
последний слой с 1000 классов. при обьединении или разделении класса достаточно перетренировать только последний слой, или даже отдельные нейроны, если границы остальных классов не задеты
предпоследний слой можно тренировать с функцией ошибки на основе ортогональности (независимости, отсутствии корреляции классов) и на основе равнозначимости (простой случай - дропаут, средний - штраф за веса близкие к 1, сложный - считать корреляцию активности каждого из классов с активностью классов последнего слоя)
A
классы это только последний слой. Промежуточный предпоследний можно вообще не трогать, если он уже натренирован
DP
хм, да, выводы предпоследнего слоя лучше просто нейронами называть. и да, он и нужен чтобы при изменениях в списке нужных классов пере-тренировать только последний слой (или даже отдельные нейроны в нем)