UKPLab/sentence-transformers
В частности Sentence-BERT
Какой порядок размера корпуса нужен для файнтюнинга?
На мой взгляд, для Bert сложно сдвинуть веса, если целевой домен сильно отличается лексически и грамматически (медицинские рецепты, например) либо очень большой домен, либо обучайте с нуля и комбинируйте с общей лингвистической.