Hi guys, had anyone worked on semantic similarly between documents. The use case is: I need 2 compare a doc with other docs in corpus. Tried TfIDF and doc2vec, wasn't getting good results.
TFIdf is not best suited as when we compare doc1 with doc2. Is there any suggestions/references

5 и 4 там из других соображений, написанных где-то рядом в том же месте 😉

Спасибо! )
Я предполагал, что 5 - это размер входного вектора, который задан выше, но вот что инициализируется четвёркой - в упор не вижу.

В примере задаётся hidden_state = torch.randn(n_layers, batch_size, hidden_dim)  Первые два параметра я понимаю, а что есть hidden_dim...

You can use pretrained w2v/fast text / etc for words , and after get mean of words in text

Такие вещи лучше не по блогам изучать 😉 обычно в них куча нестыковок.

hidden_dim выбирается из требований задачи, можно 3 взять, можно 512.

4 это 2 * 2  - два слоя и два направления. Подробно написано здесь:

https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html

h_0 of shape (num_layers * num_directions, batch, hidden_size): tensor containing the initial hidden state for each element in the batch. If the LSTM is bidirectional, num_directions should be 2, else it should be 1.

Оу, тогда получатеся, что hidden_size – The number of features in the hidden state h и смысл вроде как прояснился... Ещё раз спасибо!

Коллеги, а кто-нибудь знает хороший сплиттер предложений для армянского?

в UD есть армянский, так что смотрите на качество

но подозреваю, что у udpipe может быть похуже немножко, хотя, может, именно в плане сегментации и ок

или нужно именно предложения без пунктуации бить?

Нет, нужно обычный текст разделить на предложения. Спасибо, отличная идея, посмотрю!

Я решал эту задачу через анализатор pullenti TitlePageAnalyzer, который по тексту титульной страницы может найти наименование, авторов  организацию и пр. Например, когда на входе курсовые, диссертации, статьи, справки и т.п., то перед собственно наименованием может быть куча информации. Работает не только для pdf, так как анализирует текст.

В pullenti есть анализатор KeywordAnalyzer. Также можно напрямую идти по токенам и находить именные группы (сущ. с возможными прилагат.). В принципе, этого обычно достаточно для текстовых запросов.

У меня есть более-менее работающая версия в
https://github.com/buriy/spacy-ru/blob/v2.3/ru2/syntax_iterators.py
потестируйте?
Вот ветка для отслеживания прогресса: https://github.com/buriy/spacy-ru/issues/5

Спасибо

Добрый день! Правильно ли я понимаю, что сети-трансформеры могут генерировать(продолжать) текст по тому же механизму, по которому их используют для перевода?

Да, именно в этом их задумка и есть.

А для генерации музыки не тестировали?