Hi guys For my supervise model I have a non-English tweet data set with binary Labels which I split them into train and test set.

I want to know if there is a model or library that can find a similarity between a text of the test tweet and train tweet and the most similar tweet get the label of that training tweet; I don't care if the result is accurate if a simple model like (word2vec, word-embedding or GloVe) will work it is enough.
If you have any suggestions I'll be happy to hear that.

Пока ждете, посмотрите gpt-neo

Labse

In other hand finetuning of any suitable model from https://huggingface.co/models on training set for classification will give you better result than your approach

Спасибо большое, посмотрю

Thank you so much👍

Всем привет а кто то под onnyx русскую гпт запускал? Там конфликт пакетов (torch 1.4 для гпт и торч 1.7+ для оникса)

В onnx экспортируешь, а потом эту модель можно под другим venv запускать.

🔫 @BARBARARobe кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@wadimiusz, @evmazurov, @aorgish, @cointegrated, @ashatilov
При поддержке Золота Бородача

Здравствуйте. Посоветуйте, пожалуйста, датасеты для машинного перевода, которые покрывают различные языки? Желательного общего плана (на разные тематики), а не узкопрофильные такие как Europarl

https://opus.nlpl.eu/
Можно просто дернуть все датасеты отсюда, будет максимально разнообраный корпус)

Ух ты. Класс. Спасибо!

у них ещё либы разные есть, можно походить по https://github.com/Helsinki-NLP, особенно вроде бы https://github.com/Helsinki-NLP/OpusTools/blob/master/opustools_pkg/README.md

Товарищи, а кто-то из присутствующих занимался модификацией обучения русской гпт от сбера? Дообучения точнее

И имеет ли это в целом смысл? Хочу добавить в обучение дополнительный лосс

Я дообучал на своих текстах, получилось хорошо

Я тоже дообучал. А вы изменяли сам код обучения?

Я просто взял trainer из transformers и подложил туда свои данные

У тебя был опыт работы с этим тренером на больших данных? 50-100 гб файл, который не влазит в память если использовать их библиотеку datasets