SМ
Эт мое репо старое
Size: a a a
2021 July 12
SМ
Это не лучшее решение а бейз
SМ
Есть гораздо круче, ща найду ребят
I
А у тебя есть?
I
iemocap просто везде для измерения качества юзают
SМ
SМ
SМ
Вся точность работы именно строится в спелчекере ,ты можешь хорошо найти кандидатов с заменой ошибки, но сам спелчекер ее не исправит
2021 July 13
МЕ
Коллеги, а подскажите для такого случая: есть пулл текстов домена и есть выборка целевого класса. Как из пулла насемплить негативных семплов, чтоб было правильно? Сейчас насемплил рандомно, но думаю, есть какие-то практики проверить, что модель не найдет какой-нибудь хитрый признак, который даст утечку.
Мой второй вариант - семплить рандомно много раз, смотреть дисперсию метрик.
Мой второй вариант - семплить рандомно много раз, смотреть дисперсию метрик.
OM
Есть разные подходы, общее название такой задачи PU learning. Пример использования для текстов https://aclanthology.org/2020.findings-emnlp.43.pdf
МЕ
Большое спасибо, не знал как это называется, буду знать теперь, о чём искать. Работа мне тоже очень в тему 👍
N
А ни у кого случайно текстового корпуса японского языка нет поделиться? Хочу модельку потренировать
d
Ребята, а работал кто плотно с Pegasus?
Взял одну предобученную модельку с хаба huggingface, а она падала на длинных последовательностях
Выяснилось, что
Есть подводные камни или обоснование почему оно не должно работать?
Теория, почему всё будет хорошо у меня самого есть )
Взял одну предобученную модельку с хаба huggingface, а она падала на длинных последовательностях
Выяснилось, что
model.config.max_position_embeddings = 60Перебил его при загрузке модели на значение пожирнее и вроде всё даже работает на нужной мне задаче.
Есть подводные камни или обоснование почему оно не должно работать?
Теория, почему всё будет хорошо у меня самого есть )
t2
Есть подозрение что на каком-то слое типа tokenizer последовательность будет обрезаться. Можете проверить по размерности аутпута модели.
d
Аутпут модели там 1024, если я правильно помню. И оригинальная училась на 1024
Тут её под задачу некую файнтюнили и резанули до 60, но только токенайзер и синусоинайзер в модельке)
Тут её под задачу некую файнтюнили и резанули до 60, но только токенайзер и синусоинайзер в модельке)
d
Длинные последовательности она выдаёт, не падает
t2
А, т.е. на выходе один эмбеддинг для последовательности получается? Тогда можно сравнить эмбеддинги для длинного и обрезанного варианта одной и той же последовательности.
d
Разные. Она продолжает видеть и юзать слова из длинного хвоста