КК
Size: a a a
2020 May 11
m
mfcc какая-то страшная штука, я погуглил, но ничо не понял
это по сути обвес над преобразованием фурье, нормализующий его в соответствие с чувствительностью человека
КК
я бы хотел, чтобы мне это о чём-то говорило, но увы)
ща гуглить буду
ща гуглить буду
m
позволяет снять отпечаток с куска звука например
m
и вместо 16000 отсчетов описывающих 1 секунду записанной речи, например - получить 16 отсчетов которые описывают также этот кусок
m
КК
окей чот жесть какая-то я пожалуй сначала школьную программу поучу)
m
делается фурье преобразование, потом мы его уплотняем в соответствие с чувствительностью уха - разницу между высокими частотами мы хуже различаем чем между высокими
m
выравниваем тем самым плотность информации речевой по всему размеру окна
а затем от этого берем дискретно-косинусное преобразование
а затем от этого берем дискретно-косинусное преобразование
m
и получаем спектр спектра - собственно вектор, который довольно неплохо описывает именно речевую информацию всего несколькими отсчетами
m
потом этими векторами кормим нейронку и она учится по ним распознавать какой отпечаток к какому слову из обучающей выборки относится
m
потом эту сетку пихаем в контроллер и с микрофона сигнал преобразуем потоково в mfcc вектор и отдаем нейронке
m
работает довольно неплохо на 200мгц микроконтроллере, как видно - 6мс на все про все уходит
m
если бы сетку учили тупо на преобразовании фурье - она бы не влезла в контроллер и работала бы гораздо хуже
m
по сути - если представить что наш входной массив звуковых отсчетов это вектор/точка в N мерном конфигурационном пространстве - и мы хотим перейти в такое M мерное конфигурационное пространство, в котором записи слова одного от разных людей были бы точками которые находятся рядом друг с другом, а разные слова - далеко, тогда мы их сможем распознавать
m
ну и вот оказывается что если использовать MFCC то размерность такого пространства оказывается на несколько порядков меньше чем исходное
что существенно снижает вычислительные затраты
что существенно снижает вычислительные затраты
m
ну то же самое используется в JPEG кодировании например
или в любых других кодеках сжатия с потерями
или в любых других кодеках сжатия с потерями
m
мы просто переходим в такое пространство, в котором большинство координат можно отбросить так как они зануляются
m
при этом количество информации которую нужно хранить/обрабатывать снижается, но количество информации которая для нас существенна - незначительно