Все тут почти в курсе как потрошка трансформера выглядят

ссылка просто

кто все?

Кто в теме нлп

за последние дни только было несколько вопросов, как начать в нлп

:)

Лан

но окей, давайте опять делать вид, что тут чат исключительно суперопытных ml-инженеров

Не претендую на это)

вообще выглядит очень похоже. культура и профессионализм в среднем здесь чуть выше нескольких других больших сообществ (а каких - не скажу).

ну если выше, это ж не должно сразу делать место закрытым для тех, кто пока не таков (особенно в плане знаний)

Ага

я не про ваш случай, а про уровень дискуссии

хорошо :)

не знаю, что такое хуггинфейс
пойду наверное в трактористы

Ну вот за первую минуту гугления я нашёл какую-то тулзу, где есть татарский морфологический анализатор. Это тоже ваша?
демка: https://turkic.apertium.org/index.eng.html?choice=tat&qA=мин%20яратам%20сине%20татарстан#analyzation
документация: https://wiki.apertium.org/wiki/Apertium-tat
Понятно, что качество у неё вряд ли очень высокое, но если на её разметке предобучить модель, а потом на более чистой разметке пофайнтюнить, может получиться и норм.

Всем привет. Как лучше поступить при работе над сервисом классификатора фраз, если невозможно UX исследование перед/во время разработки. Иначе говоря: как лучше подготовится к запросам пользователя без логов и UX исследований? Детализирую: бизнес аналитики хотят получить приемлемую точность по классификации например заказов различных пропусков (на различные категории авто и пешеходов, спец пропуска и тд) ,в том числе, при тестировании задавая запросы длиной в один токен и семантически очень размытый, н-р: машина, проезд, работа (!). Я не думаю что получится убедить их в проведении UX исследования, но как тогда поступить что бы обосновать, что пользователь с более высокой вероятностью будет писать вопросы хотя бы из 3-5 токенов, ну или как минимум словосочетания а не просто слова с неоднозначной семантикой.

убедите провести A/B... хотя проблема интерфейса в вашей задаче выглядит вторичной к качеству самого ответа

Да , я не очень корректно использовал ux. Речь просто о логах скорее , о фактических запросах от пользователя . Про А/В понял , это самый простой путь будет, Спасибо

Если проблема в том, что до начала разработки нет возможности допустить юзеров до вашего интерфейса, то можно провести так называемое Wizard-of-Oz тестирование: самостоятельно от имени бота поговорить с потенциальными пользователями в каком-нибудь месенджере, чтобы получить выборку возможных диалогов.