Update README.md

README.md

@@ -6,15 +6,36 @@ tags:
 - feature-extraction
 - sentence-similarity
 - transformers
-
+- rubert
+- bi-encoder
+datasets:
+- unicamp-dl/mmarco
+language:
+- ru
+base_model: DeepPavlov/rubert-base-cased
+widget:
+- source_sentence: "определение новичка"
+  sentences:
+    - "Часть пятая: Посещение художественного музея. Для новичка посещение художественного музея может стать непростой задачей. Большинство музеев очень большие и требуют выносливости и хорошего чувства направления. Потратьте некоторое время на то, чтобы узнать больше о музее, прежде чем отправиться в путь, - лучший способ обеспечить более информативное и приятное посещение. ПРЕЖДЕ ЧЕМ ТЫ УЙДЕШЬ."
+    - "Определение новичка - это новичок или человек в начале чего-либо."
+  example_title: "Example 1"
+    
+- source_sentence: "какое состояние может определить тест с физической нагрузкой"
+  sentences:
+    - "Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или несколько коронарных артерий, питающих сердце, жировые отложения (бляшки), которые блокируют кровеносный сосуд на 70% или более. Для подтверждения результата часто требуется дополнительное тестирование. Результат испытаний."
+    - "Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок сердечной мышцы достаточный кровоток во время тренировки. Он похож на тест с физической нагрузкой, фармакологический или химический стресс-тест. Он также известен при стресс-тесте таллием, сканировании перфузии миокарда или радионуклидном тесте."
+  example_title: "Example 2"
 ---
 
-# DiTy/rubert-bi-encoder-russian-mmarcoRU
 
-This is a [sentence-transformers](https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search.
+# DiTy/rubert-bi-encoder-mmarcoRU
+
+This is a [sentence-transformers](https://www.SBERT.net) model based on a pre-trained [DeepPavlov/rubert-base-cased](https://huggingface.co/DeepPavlov/rubert-base-cased) and finetuned with [MS-MARCO Russian passage ranking dataset](https://huggingface.co/datasets/unicamp-dl/mmarco):
+It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for asymmetric semantic search in the Russian language.
 
 <!--- Describe your model here -->
 
+
 ## Usage (Sentence-Transformers)
 
 Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
@@ -26,12 +47,20 @@ pip install -U sentence-transformers
 Then you can use the model like this:
 
 ```python
-from sentence_transformers import SentenceTransformer
-sentences = ["This is an example sentence", "Each sentence is converted"]
+from sentence_transformers import SentenceTransformer, util
+
+sentences = [
+    'какое состояние может определить тест с физической нагрузкой', 
+    'Тест с физической нагрузкой разработан, чтобы выяснить, содержат ли одна или несколько коронарных артерий, питающих сердце, жировые отложения (бляшки), которые блокируют кровеносный сосуд на 70% или более. Для подтверждения результата часто требуется дополнительное тестирование. Результат испытаний.',
+    'Тест направлен на то, чтобы выяснить, не получает ли какой-либо участок сердечной мышцы достаточный кровоток во время тренировки. Он похож на тест с физической нагрузкой, фармакологический или химический стресс-тест. Он также известен при стресс-тесте таллием, сканировании перфузии миокарда или радионуклидном тесте.'
+]
 
-model = SentenceTransformer('DiTy/rubert-bi-encoder-russian-mmarcoRU')
+model = SentenceTransformer('DiTy/rubert-bi-encoder-mmarcoRU')
 embeddings = model.encode(sentences)
-print(embeddings)
+results = util.semantic_search(embeddings[0], embeddings[1:])[0]
+
+print(f"Sentence similarity: {results}")
+# `Sentence similarity: [{'corpus_id': 0, 'score': 0.8545001149177551}, {'corpus_id': 1, 'score': 0.023047829046845436}]`
 ```
 
 
@@ -52,14 +81,18 @@ def mean_pooling(model_output, attention_mask):
 
 
 # Sentences we want sentence embeddings for
-sentences = ['This is an example sentence', 'Each sentence is converted']
+sentences = [
+  'красный плоский лишай вызван стрессом',
+  'В большинстве случаев причину появления красного плоского лишая невозможно. Это не вызвано стрессом, но иногда эмоциональный стресс усугубляет ситуацию. Известно, что это заболевание возникает после контакта с определенными химическими веществами, такими как те, которые используются для проявления цветных фотографий. У некоторых людей определенные лекарства вызывают красный плоский лишай. Эти препараты включают лекарства от высокого кровяного давления, болезней сердца, диабета, артрита и малярии, антибиотики, нестероидные противовоспалительные обезболивающие и т. Д.',
+  'К сожалению для работодателей, в разных штатах страны есть несколько дел, по которым суды установили, что стресс, вызванный работой, может быть основанием для увольнения с работы, если стресс достигает уровня серьезного состояния здоровья, которое вызывает они не могут выполнять свою работу.',
+]
 
 # Load model from HuggingFace Hub
-tokenizer = AutoTokenizer.from_pretrained('DiTy/rubert-bi-encoder-russian-mmarcoRU')
-model = AutoModel.from_pretrained('DiTy/rubert-bi-encoder-russian-mmarcoRU')
+tokenizer = AutoTokenizer.from_pretrained('DiTy/rubert-bi-encoder-mmarcoRU')
+model = AutoModel.from_pretrained('DiTy/rubert-bi-encoder-mmarcoRU')
 
 # Tokenize sentences
-encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
+encoded_input = tokenizer(sentences, max_length=512, padding='max_length', truncation=True, return_tensors='pt')
 
 # Compute token embeddings
 with torch.no_grad():
@@ -73,14 +106,6 @@ print(sentence_embeddings)
 ```
 
 
-
-## Evaluation Results
-
-<!--- Describe how your model was evaluated -->
-
-For an automated evaluation of this model, see the *Sentence Embeddings Benchmark*: [https://seb.sbert.net](https://seb.sbert.net?model_name=DiTy/rubert-bi-encoder-russian-mmarcoRU)
-
-
 ## Training
 The model was trained with the parameters:
 
@@ -102,8 +127,8 @@ Parameters of the fit()-Method:
 ```
 {
     "epochs": 5,
-    "evaluation_steps": 0,
-    "evaluator": "NoneType",
+    "evaluation_steps": 250000,
+    "evaluator": "sentence_transformers.evaluation.InformationRetrievalEvaluator",
     "max_grad_norm": 1,
     "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
     "optimizer_params": {
@@ -123,8 +148,4 @@ SentenceTransformer(
   (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
   (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
 )
-```
-
-## Citing & Authors
-
-<!--- Describe where people can find more information -->
+```