FF
Или на правилах можно, если чеки какого-то стандартного вида
Size: a a a
2020 September 10
VS
А лучше Mathew's Correlation Coefficient, он более суровый чем F1.
Спасибо. Попробую.
A
прямо сейчас задача решена путем того, что я питоном пытаюсь распарсить. Четыре разных парсера для четырех разных магазинов
AX
Так наверное лучше - нейросеть в этой эадаче явный перебор.. Да и yargy тоже наверное - данные в чеках неплохо структурированы проще регэкспами сдернуть. ..
NA
Кажется, у тинькова есть сервис, который делает это
A
ну у меня скорее желание поэкспериментировать самостоятельно
A
вот допустим если я посимвольно читаю текст, то как делать токенизацию с выделением пунктуации?
AS
возьми либу готовую
A
те, что я видел, опираются на какие-то словари огромного размера. Я поэтому и думаю сделать свое на основе посимвольных эмбеддингов.
A
Для классификатора вот я например использую flair
AS
ну сложность с сокращениями например
AS
точка это отдельный символ или часть сокращения?
A
ну да. То есть тут тоже делается тегирование по классам "разделитель", и BIO?
AS
смотря что тебе нужно
A
мне нужно, чтобы я отдал строчку в сетку, а на выходе получил какой-то ответ, на основе которого смог бы разбить на токены
AS
зачем сетка чтобы разбивать на токены? :)
AS
возьми либу вообщем готовую, и будет тебе "сетка"
A
я знаю, что есть готовые либы
A
но мой вопрос звучит именно так - "а если бы я захотел с помощью сетки разбивать на токены, то какой мне надо тренить выходной результат". И ответ - BIO теги.