DP
да, читал
длинные слова разбивает на группы букв
длинные слова разбивает на группы букв
Size: a a a
2021 July 30
E
вы можете указать max length какой хотите, в пределах 512
DP
я прааильно понимаю что это требует перетренировки всей модели?
CT
Если только на инференс, можно даже не падить
E
это делается в момент файнтюнинга, когда вы дообучаете модель на своем датасете
DP
а что увидит модель там где вход кончился (предложение короткое), но входы модели натренированы?
CT
Ну если модель тренировалась на которких текстах, то на инференсе имеет смысл резать текста под максимальную длину, которую видела модель
DP
мне интересно как оно работает внутри
какой тип нейронов у входов?
какой тип нейронов у входов?
CT
Советую тогда почитать оригинальную статью про трансформеры, и блогпосты из серии The illustrated transformer, там в целом достаточно простое и подробное объяснение работы трансформеров.
Еще можно посмотреть всякие интересные визуализации аттеншена (https://github.com/jessevig/bertviz) и посмотреть на что модель обращает внимание
Еще можно посмотреть всякие интересные визуализации аттеншена (https://github.com/jessevig/bertviz) и посмотреть на что модель обращает внимание
GP
спасибо!
DD
Кто-нибудь использовал в реальных задачах Polyanalyst? Интересны отзывы, за пределами регулярок он может что-нибудь сделать?
2021 July 31
B
🔫 Sanah Sayyed кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@nshmyrev, @lissen2me, @tesemnikov, n i, @EvgenIvanov
При поддержке Золота Бородача
Проголосовавшие за кик:
@nshmyrev, @lissen2me, @tesemnikov, n i, @EvgenIvanov
При поддержке Золота Бородача
2021 August 01
B
🔫 User кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@LoneGeek, @SaturnOleg, @ykvr2, @johnshoq, @couldbeanybody
При поддержке Золота Бородача
Проголосовавшие за кик:
@LoneGeek, @SaturnOleg, @ykvr2, @johnshoq, @couldbeanybody
При поддержке Золота Бородача
VM
вроде как победил
VM
на входе 50000 названий каналов
считается минут 5
https://dpaste.org/6LwV/slim
это топ 100 слов, которые выделились
наблюдаю только одну ошибку -- в 32 строке
потому что после "crypto" сильно часто идет буква "c": currency, coin, chat, com
(29 строка -- gruppasi -- это не ошибка, это по-турецки)
считается минут 5
https://dpaste.org/6LwV/slim
это топ 100 слов, которые выделились
наблюдаю только одну ошибку -- в 32 строке
потому что после "crypto" сильно часто идет буква "c": currency, coin, chat, com
(29 строка -- gruppasi -- это не ошибка, это по-турецки)
AW
Всем привет, кто то решал задачу рифмовки существующего текста?
B
🔫 @benvarriano кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@Greyss, @Cene655, @arseniyplus, @nekrasov_anton, @nshmyrev
При поддержке Золота Бородача
Проголосовавшие за кик:
@Greyss, @Cene655, @arseniyplus, @nekrasov_anton, @nshmyrev
При поддержке Золота Бородача