Протестил курам насмех
https://www.repustate.com/ - сервис на 24 языках, который используют 3,000 организаций. Типа PRO и все такое.
Функция - анализ тональности текста.
Со знаком минус типа отрицательная, 0 видимо хер знает или нейтральное, ну и больше ноля типа положительная.
Великий и могучий видать дается со скрипом.
В таблице три значения -
первое от
repustate.com второе от Microsoft (там 0 это абсолютно отрицательная, а 100% абослютно позитивная, 50% это когда хер пойми или нейтральная, как я понял)
третье DeepPavlov - negative, neutral
Индикатор говноеда, сериал унылый, пустой и затянутый = 0 / 52% / negative
Ненавижу гигантские каски это трэш = -0.975 / 23% / negative
там вообще вся броня как на заборе весит. = 0 / 51% / neutral
Как минимум потому, что он хорошо смотрится на фоне трилогии сиквелов. = 0.88 / 69% / neutral
Мне дико зашло. = 0 / 29% / neutral
Я просто смотрю и кайфую = 0 / 55% / positive
Мне не нравится, он не плохой, но не цепляет вовсе, не интересно смотреть. = -0.975 / 0% / positive
Плюс сериал сумел лично меня привязать к персонажу Мандалорца и беби Йоды. = 0 / 56% / neutral
Сериал никакой. = 0 / 50% / neutral
Объективно, Мандалорец довольно средний сериал = 0.975 / 53% / neutral
Смех, смехом. = -0.975 / 50% / neutral
Ты видел какой там крутой робот? Чума просто. = -0.975 / 71% / negative
Скучноватый, неизобритательный, простой как 3 копейки сериал. = 0.922 / 55% / negative
Сценарий не блещет - первые серии просто переписанная классика. = 0 / 55% / neutral
Посмотрел две серии и мне как-то не зашло. = 0 / 48% / neutral
Сериал сугубо одноразовый. = 0 / 50% / neutral
Слишком большой упор на минийоду, которого надо распродавать, и слишком плоские сюжеты. = 0 / 33% / neutral
Я не знаю, почему Мандалорец так всем нравится. = 0.96 / 58% / neutral
На самом деле, если абстрагироваться от вселенной ЗВ, то сериал, конечно, не блещет. = 0 / 62% / neutral
Единственное, что мне не нравится в Питере, - это климат. = -0.880 / 4% / neutral
Роман мне не просто нравится - я его люблю вот уже 20 лет = -0.014 / 70% / positive
Там просто реально волшебная атмосфера = 0 / 61% / positive
Музыка просто супер = 0 / 54% / positive
Здесь не все успешные варианты, иногда repustate действительно срабатывал в сложных предложениях, но часто не попадал.
Microsoft как видно не многим дальше ушел. DeepPavlov тоже странные результаты, где-то лучше, где-то провальнее.
Вероятно в этом суть современного диплернинга - накачать датасетами обычную модель. Не точно? А еще давай подгрузим датасетов.
Сомневаюсь, что перцы создавали какую-то свою языковую модель для русского или сильно пыхтели над анализом точности.
Хотя не сомневаюсь, что английский работает у них у всех лучше. Также не сомневаюсь, что если тест делать по IMDB отзывам, которые чаще всего используются в тестах, у них ваще будет супер точность))
В целом позиция в отношении всех этих диплернингов - немного доверяй, много и постоянно проверяй.
Складывается впечатление, что наш программист-лингвист из 90-хх мог бы за ящик водки слабать более точную прогу всяких без ИИ.