Спасибо!

Всем привет! Нужно разбить датасет с текстами на кластеры по причине отказа в оказании услуги. Могли бы вы порекомендовать как это лучше сделать?

собери кучу данных о том, как это делают люди. 10к примеров набери, типа текст + причина отказа.

когда это будет - натренировать классификатор. можно взять любую обученную на нужном языке нейронку. переводы, продолжение текста - все такое скорее всего будет работать лучше чем тренировать с нуля.

в конечном итоге тебе нужен будет tensorflow и последний (полносвязанный) слой в котором столько нейронов, сколько у тебя классов. и брать тот нейрон что активен максимально.

ну понятно когда есть уже ручная разметка, то легко с сетями. можно вообще Берт взять и не надо с тензорфлоу мучаться

Привет всем, подскажите куда копнуть:
Есть 1млн коротких строк англ языка(допустим из библии).
Юзер начинает вводить строку и надо подобрать наиболее подходящую по смыслу...
Я попробовал fuzzySearch, но оно очень долго работает(на ноуте), 14с получилось. Хочется реалтайма, да под нагрузкой)
Может сетка какая-то есть для такого?

Сетки - это, как правило, само по себе тоже очень медленно)
Тебе нужен хороший оптимизированный поисковый индекс. Elasticsearch либо что-нибудь более специфическое.

может чтото из рода векторизации датасета и входа, и поиска максимально похожего по вектору в датасете?

Если хочется тонкой семантики, можно каждую строку закодировать sentence encoder'ом (USE или LASER, например) в вектор, и дальше делать приближённый поиск ближайших соседей в пространстве этих векторов. Такой поиск быстро делает, например, библиотека faiss.

Мне на гпу просто приоритетней, ибо есть мощные видяхи

Энкодер можешь на гпу запускать, а про approximate nearest neighbor search на гпу я не слышал, но можно попробовать погуглить.

так фаисс умеет на гпу работать

Умеет, но я устал в свое время с бубном танцевать, чтобы все полетело.

В итоге полетело?

Всем привет. Это нормально, что модель из transformers неустойчиво обучается? Изменения от запуска к запуску обучения на пять сотых процента. Для меня то значительно, потому что я таких результатов тюнингом данным добиваюсь(а может и не добиваюсь). Подскажите, где может быть рандом. Сплит зафиксирован, оптимайзер AdamW, шедулер linear_schedule_with_warmup

Да

Elasticsearch уже так может. По крайне мере амазоновский.
https://aws.amazon.com/ru/about-aws/whats-new/2020/07/cosine-similarity-support-in-amazon-elasticsearch-service/

На сколько я знаю и базовая реализация это тоже умеет.

Ворвусь со старым вопросом, но не может ли кто-нибудь подсказать ноутбуки или статьи, где на пальцах показывают, как делают с нуля POS-теггер и лемматизатор? Желательно на Питоне, но сойдёт и R.
Хочу всё же сделать руками их. Имею пока что корпус от НКРЯ, скинули мне всё же его.

for x in range(len(words)):
    pos = get_pos(words[x-3: x+4])

где get_pos — просто классификатор из этих слов на 20 классов (частей речи).
с лемматизатором посложнее (там набор классов на выходе — возможные леммы), но это тоже классификатор.

Предположим, я кидаю в этот классификатор слово, которое не встречалось в корпусе. =) И всё. Мне советовали посмотреть FastText в том числе.