Ну точно BPE надо взять и под себя переписать чуть-чуть

Вот тут с кодом прям, можно какие-то эвристики над значениями частотности написать и будет решение вашей задачи

Нарезать на нграммы и оставить только высокочастотные )

Более длинная "убивает" более короткую как велосипед

вот я на эту граблю как раз и наступил ) потому что даже с treshold-ами "высокочастотности", когда очень много похожих названий, к настоящему слову приклеился мусор

$ cat topics_url.json | json_pp | grep bitcoin
      "bitcoin_p",
      "bitcoinf",
      "bitcoino",
      "tbitcoin",
      "bitcoin_b",
      "bitcoin_c",
      "bitcoin_f",
...

а bitcoin убился

Второй раз пройтись по топу)
Это же всё равно разовая задача

вот я не уверен, что от второго раза будет прок
treshold-ы опять от балды подбирать, и на выходе окажется какое-нить bitcoin_
ладно конкретно _ я-то могу уже руками отрезать в конце, но это лишь частный случай, а думаю, проблемы похожие будут повсюду
суть в том, что простой treshold частотности -- это пальцем в небо

https://stackoverflow.com/q/59492039/322020
вот тут по сути дежавю
чел спрашивает тоже, что и я, и ему отвечают тоже, что предложил ты
но оно на практике не сработало )

I will update my answer with code once I make something that works.
answered Jan 5 '20 at 20:59

А ты упорный... Простите

думаю, мне надо вспомнить формулы из теории вероятности
по идее, если буква T встречается во всем тексте с вероятностью 2%, но после CA она встретилась 10 раз из 100, то можно сказать, насколько маловероятно, что это произошло случайно
и м.б. здесь окажется достаточно подобрать одно число, чтоб решать, где считать букву продолжением слова, а где нет
не очень уверен, правда, как скажется на эти числа наличие и величина ветвлений, например, CAT и CAR -- по идее они друг у друга вероятность отнимают

добрый день! подскажите пожалуйста, есть ли публичные бесплатные сервисы, которые могут через API переводить с русского на английский отдельные слова и небольшие кусочки текста? google/yandex translate такое могут или есть что-то еще?

Есть возможность у себя сервис развернуть?

в целом да

но если можно без этого - лучше без этого. но есть.

наверное можно веб формы яндекс/гугл переводчика сымитировать? или это нарушит какие-то соглашения?

Я делал для себя докер , чтобы переводить большие тексты в оффлайн https://github.com/Gorodecki/offline_gooddy

спасибо

Вопрос, может быть глупый, но все же: при обучении NER, какие есть варианты поднять precision, если заказчик готов пожертвовать recall-ом всего пайпа?

В F мере поменять коэффициент beta