Spaces:
Running
Running
| { | |
| "items": { | |
| "1.11.0": { | |
| "d6ccf3ae4d874a1e8fd256e07a9189d7": { | |
| "model_name": "Qwen2.5-7B-Instruct", | |
| "timestamp": "2025-07-03T14:00:00", | |
| "config": { | |
| "embedding_model": "e5-mistral-7b-instruct_2", | |
| "retriever_type": "mmr", | |
| "retrieval_config": { | |
| "top_k": 20, | |
| "chunk_size": 500, | |
| "chunk_overlap": 100 | |
| } | |
| }, | |
| "metrics": { | |
| "simple": { | |
| "retrieval": { | |
| "hit_rate": 0.94, | |
| "mrr": 0.8339814814814815, | |
| "precision": 0.16666666666666666 | |
| }, | |
| "generation": { | |
| "rouge1": 0.12809115762301465, | |
| "rougeL": 0.12720226873412577 | |
| } | |
| }, | |
| "cond": { | |
| "retrieval": { | |
| "hit_rate": 0.9733333333333334, | |
| "mrr": 0.8786931216931217, | |
| "precision": 0.17733333333333332 | |
| }, | |
| "generation": { | |
| "rouge1": 0.22438283005922466, | |
| "rougeL": 0.22407979975619435 | |
| } | |
| }, | |
| "set": { | |
| "retrieval": { | |
| "hit_rate": 0.9133333333333333, | |
| "mrr": 0.8075925925925925, | |
| "precision": 0.164 | |
| }, | |
| "generation": { | |
| "rouge1": 0.11787408709850448, | |
| "rougeL": 0.09943376362370457 | |
| } | |
| }, | |
| "mh": { | |
| "retrieval": { | |
| "hit_rate": 0.9533333333333334, | |
| "mrr": 0.8364444444444444, | |
| "precision": 0.156 | |
| }, | |
| "generation": { | |
| "rouge1": 0.17552305949148053, | |
| "rougeL": 0.17552305949148053 | |
| } | |
| }, | |
| "overall": { | |
| "retrieval": { | |
| "hit_rate": 0.945, | |
| "mrr": 0.8391779100529101, | |
| "precision": 0.16599999999999998 | |
| }, | |
| "generation": { | |
| "rouge1": 0.16146778356805608, | |
| "rougeL": 0.15655972290137632 | |
| } | |
| }, | |
| "judge": { | |
| "judge_completeness_score": 0.5292153589315526, | |
| "judge_cons_w_real_world_score": 0.895, | |
| "judge_correctness_score": 1.255, | |
| "judge_factual_accuracy_score": 0.71, | |
| "judge_fluff_score": 0.9266666666666666, | |
| "judge_pres_details_score": 0.6583333333333333, | |
| "judge_total_score": 0.8290358931552587 | |
| } | |
| }, | |
| "metadata": { | |
| "n_questions": 600, | |
| "submit_timestamp": "" | |
| } | |
| }, | |
| "3ffd4582172e4dd08a6df3a2bc7b0a70": { | |
| "model_name": "RuadaptQwen2.5-32B-Instruct", | |
| "timestamp": "2025-07-03T14:00:09", | |
| "config": { | |
| "embedding_model": "FRIDA_2", | |
| "retriever_type": "mmr", | |
| "retrieval_config": { | |
| "top_k": 20, | |
| "chunk_size": 500, | |
| "chunk_overlap": 100 | |
| } | |
| }, | |
| "metrics": { | |
| "simple": { | |
| "retrieval": { | |
| "hit_rate": 0.9, | |
| "mrr": 0.835867724867725, | |
| "precision": 0.128 | |
| }, | |
| "generation": { | |
| "rouge1": 0.1989593421164771, | |
| "rougeL": 0.1989593421164771 | |
| } | |
| }, | |
| "cond": { | |
| "retrieval": { | |
| "hit_rate": 0.9066666666666666, | |
| "mrr": 0.8335555555555555, | |
| "precision": 0.14066666666666666 | |
| }, | |
| "generation": { | |
| "rouge1": 0.30769111937570354, | |
| "rougeL": 0.30769111937570354 | |
| } | |
| }, | |
| "set": { | |
| "retrieval": { | |
| "hit_rate": 0.9, | |
| "mrr": 0.7952301587301587, | |
| "precision": 0.1293333333333333 | |
| }, | |
| "generation": { | |
| "rouge1": 0.13627692051127355, | |
| "rougeL": 0.11183016718646731 | |
| } | |
| }, | |
| "mh": { | |
| "retrieval": { | |
| "hit_rate": 0.9466666666666667, | |
| "mrr": 0.8368492063492063, | |
| "precision": 0.1333333333333333 | |
| }, | |
| "generation": { | |
| "rouge1": 0.3335992099545257, | |
| "rougeL": 0.3335992099545257 | |
| } | |
| }, | |
| "overall": { | |
| "retrieval": { | |
| "hit_rate": 0.9133333333333333, | |
| "mrr": 0.8253756613756614, | |
| "precision": 0.13283333333333333 | |
| }, | |
| "generation": { | |
| "rouge1": 0.244131647989495, | |
| "rougeL": 0.2380199596582934 | |
| } | |
| }, | |
| "judge": { | |
| "judge_completeness_score": 0.7183333333333334, | |
| "judge_cons_w_real_world_score": 0.9916666666666667, | |
| "judge_correctness_score": 1.32, | |
| "judge_factual_accuracy_score": 0.8133333333333334, | |
| "judge_fluff_score": 1.18, | |
| "judge_pres_details_score": 0.855, | |
| "judge_total_score": 0.9797222222222223 | |
| } | |
| }, | |
| "metadata": { | |
| "n_questions": 600, | |
| "submit_timestamp": "" | |
| } | |
| }, | |
| "af59b6402c5f4354805df6751c9e6621": { | |
| "model_name": "RuadaptQwen2.5-32B-Instruct", | |
| "timestamp": "2025-07-20T14:19:49", | |
| "config": { | |
| "embedding_model": "FRIDA_0", | |
| "retriever_type": "mmr", | |
| "retrieval_config": { | |
| "top_k": 5, | |
| "chunk_size": 500, | |
| "chunk_overlap": 100 | |
| } | |
| }, | |
| "metrics": { | |
| "simple": { | |
| "retrieval": { | |
| "hit_rate": 0.8, | |
| "mrr": 0.7546666666666666, | |
| "precision": 0.16399999999999995 | |
| }, | |
| "generation": { | |
| "rouge1": 0.34263166427902236, | |
| "rougeL": 0.3415649976123557 | |
| } | |
| }, | |
| "cond": { | |
| "retrieval": { | |
| "hit_rate": 0.8866666666666667, | |
| "mrr": 0.844111111111111, | |
| "precision": 0.18399999999999997 | |
| }, | |
| "generation": { | |
| "rouge1": 0.588568088354604, | |
| "rougeL": 0.588568088354604 | |
| } | |
| }, | |
| "set": { | |
| "retrieval": { | |
| "hit_rate": 0.7666666666666667, | |
| "mrr": 0.7155555555555555, | |
| "precision": 0.15988888888888886 | |
| }, | |
| "generation": { | |
| "rouge1": 0.201784949062967, | |
| "rougeL": 0.2015000487780667 | |
| } | |
| }, | |
| "mh": { | |
| "retrieval": { | |
| "hit_rate": 0.8933333333333333, | |
| "mrr": 0.8258888888888889, | |
| "precision": 0.18355555555555553 | |
| }, | |
| "generation": { | |
| "rouge1": 0.3723811038951089, | |
| "rougeL": 0.3723811038951089 | |
| } | |
| }, | |
| "overall": { | |
| "retrieval": { | |
| "hit_rate": 0.8366666666666667, | |
| "mrr": 0.7850555555555555, | |
| "precision": 0.1728611111111111 | |
| }, | |
| "generation": { | |
| "rouge1": 0.3763414513979256, | |
| "rougeL": 0.37600355966003385 | |
| } | |
| }, | |
| "judge": { | |
| "judge_completeness_score": 0.0033333333333333335, | |
| "judge_cons_w_real_world_score": 0.3416666666666667, | |
| "judge_correctness_score": 0.8547579298831386, | |
| "judge_factual_accuracy_score": 0.18333333333333332, | |
| "judge_fluff_score": 1.29, | |
| "judge_pres_details_score": 0.011666666666666667, | |
| "judge_total_score": 0.44745965498052315 | |
| } | |
| }, | |
| "metadata": { | |
| "n_questions": 600, | |
| "submit_timestamp": "" | |
| } | |
| }, | |
| "9449f344fe664e8db1f755f1b27f7714": { | |
| "model_name": "RuadaptQwen2.5-32B-Instruct", | |
| "timestamp": "2025-07-20T14:22:44", | |
| "config": { | |
| "embedding_model": "multilingual-e5-large-instruct_0", | |
| "retriever_type": "mmr", | |
| "retrieval_config": { | |
| "top_k": 2, | |
| "chunk_size": 500, | |
| "chunk_overlap": 100 | |
| } | |
| }, | |
| "metrics": { | |
| "simple": { | |
| "retrieval": { | |
| "hit_rate": 0.8533333333333334, | |
| "mrr": 0.83, | |
| "precision": 0.43 | |
| }, | |
| "generation": { | |
| "rouge1": 0.4218555867119719, | |
| "rougeL": 0.4218555867119719 | |
| } | |
| }, | |
| "cond": { | |
| "retrieval": { | |
| "hit_rate": 0.9, | |
| "mrr": 0.8766666666666667, | |
| "precision": 0.45666666666666667 | |
| }, | |
| "generation": { | |
| "rouge1": 0.7324504198891844, | |
| "rougeL": 0.7297837532225178 | |
| } | |
| }, | |
| "set": { | |
| "retrieval": { | |
| "hit_rate": 0.6933333333333334, | |
| "mrr": 0.6733333333333333, | |
| "precision": 0.3566666666666667 | |
| }, | |
| "generation": { | |
| "rouge1": 0.27998074031346254, | |
| "rougeL": 0.27998074031346254 | |
| } | |
| }, | |
| "mh": { | |
| "retrieval": { | |
| "hit_rate": 0.82, | |
| "mrr": 0.81, | |
| "precision": 0.42333333333333334 | |
| }, | |
| "generation": { | |
| "rouge1": 0.4475666714238857, | |
| "rougeL": 0.4475666714238857 | |
| } | |
| }, | |
| "overall": { | |
| "retrieval": { | |
| "hit_rate": 0.8166666666666667, | |
| "mrr": 0.7975, | |
| "precision": 0.4166666666666667 | |
| }, | |
| "generation": { | |
| "rouge1": 0.4704633545846262, | |
| "rougeL": 0.4697966879179594 | |
| } | |
| }, | |
| "judge": { | |
| "judge_completeness_score": 0.0033333333333333335, | |
| "judge_cons_w_real_world_score": 0.3416666666666667, | |
| "judge_correctness_score": 0.8547579298831386, | |
| "judge_factual_accuracy_score": 0.18333333333333332, | |
| "judge_fluff_score": 1.29, | |
| "judge_pres_details_score": 0.011666666666666667, | |
| "judge_total_score": 0.44745965498052315 | |
| } | |
| }, | |
| "metadata": { | |
| "n_questions": 600, | |
| "submit_timestamp": "" | |
| } | |
| }, | |
| "bf559defa13140f088d974ea62675688": { | |
| "model_name": "RuadaptQwen2.5-32B-Instruct", | |
| "timestamp": "2025-07-20T14:22:47", | |
| "config": { | |
| "embedding_model": "multilingual-e5-large-instruct_1", | |
| "retriever_type": "mmr", | |
| "retrieval_config": { | |
| "top_k": 5, | |
| "chunk_size": 500, | |
| "chunk_overlap": 100 | |
| } | |
| }, | |
| "metrics": { | |
| "simple": { | |
| "retrieval": { | |
| "hit_rate": 0.88, | |
| "mrr": 0.8405555555555556, | |
| "precision": 0.1834444444444444 | |
| }, | |
| "generation": { | |
| "rouge1": 0.2983866101662599, | |
| "rougeL": 0.2983866101662599 | |
| } | |
| }, | |
| "cond": { | |
| "retrieval": { | |
| "hit_rate": 0.9533333333333334, | |
| "mrr": 0.8906666666666666, | |
| "precision": 0.19899999999999995 | |
| }, | |
| "generation": { | |
| "rouge1": 0.6480719582985028, | |
| "rougeL": 0.6454052916318361 | |
| } | |
| }, | |
| "set": { | |
| "retrieval": { | |
| "hit_rate": 0.8333333333333334, | |
| "mrr": 0.7273333333333333, | |
| "precision": 0.17911111111111105 | |
| }, | |
| "generation": { | |
| "rouge1": 0.2668045422555955, | |
| "rougeL": 0.2668045422555955 | |
| } | |
| }, | |
| "mh": { | |
| "retrieval": { | |
| "hit_rate": 0.9066666666666666, | |
| "mrr": 0.8437777777777777, | |
| "precision": 0.19777777777777777 | |
| }, | |
| "generation": { | |
| "rouge1": 0.3450429133503272, | |
| "rougeL": 0.3450429133503272 | |
| } | |
| }, | |
| "overall": { | |
| "retrieval": { | |
| "hit_rate": 0.8933333333333333, | |
| "mrr": 0.8255833333333332, | |
| "precision": 0.18983333333333335 | |
| }, | |
| "generation": { | |
| "rouge1": 0.3895765060176714, | |
| "rougeL": 0.38890983935100476 | |
| } | |
| }, | |
| "judge": { | |
| "judge_completeness_score": 0.0033333333333333335, | |
| "judge_cons_w_real_world_score": 0.3416666666666667, | |
| "judge_correctness_score": 0.8547579298831386, | |
| "judge_factual_accuracy_score": 0.18333333333333332, | |
| "judge_fluff_score": 1.29, | |
| "judge_pres_details_score": 0.011666666666666667, | |
| "judge_total_score": 0.44745965498052315 | |
| } | |
| }, | |
| "metadata": { | |
| "n_questions": 600, | |
| "submit_timestamp": "" | |
| } | |
| } | |
| } | |
| }, | |
| "last_version": "1.34.1", | |
| "n_questions": 600, | |
| "date_title": "03 \u0438\u044e\u043b\u044f 2025" | |
| } |