Ее можно сделать. Но будет слишком топорно. Для хорошего сео нужен хороший текст как от живого эксперта

Вот конкретно морочился час где-то чтобы хоть как-то стартануть natasha, не получилось ни через докер ни через pip install. Понятно, что у меня не хватает познаний докера и питона.  Но чем мне нравится DeepPavlov - запустил докер одной строкой и работай.

Ребят, подскажите, может у кого-то была подобная задача:
В huggingface в generate есть bad_words_ids, чтобы запретить генерировать конкретные слова, но нет параметра, чтобы заставить генерировать конкретные слова в предложении. Хотелось бы с помощью Natasha искать NERом слова, которые нельзя в предложении менять и скармливать их в generate, чтобы они точно были в получившемся предложении
Есть какие-нибудь более красивые решения, чем фильтр по 100500 результатам от generate? Может особая функция ошибки, которая наказывает модель за дропнутые нужные слова? Возможно какой-то небинарный (а на отрезке) attention? Заранее спасибо)

Есть ряд решений типа guided language models или generative discriminators, там скоры языковой модели для каждого слова в словаре модифицируются с использованием маленькой дополнительной модельки, и генерация происходит из такого подкостыленного распределения. Я бы использовал что-то подобное, и в качестве костыля увеличивал бы вероятности тех токенов, которые хочется иметь в предложении.

Спасибо) Да, походу придётся самому изнутри переписывать generate метод и это будет самым нормальным решением

Удивлён, что такой модели ещё нет если честно, надо будет после этого быстрого костыля посмотреть, можно ли как-то во время обучения делать а-ля attention, только importance, чтобы использовать его при обучении

Добрый день. Подскажите, как бороться с переносами слов при сканировании текста через OCR?

рулами?

if такая-то фигня
cклеить в одно слово

мне на ум в качестве дешёвого хака приходит GET "https://ru.wiktionary.org/wiki/слово"