RichardErkhov
/

expertai_-_LLaMAntino-3-SLIMER-IT-4bits

+Quantization made by Richard Erkhov.
+[Github](https://github.com/RichardErkhov)
+[Discord](https://discord.gg/pvy7H8DZMG)
+[Request more models](https://github.com/RichardErkhov/quant_request)
+LLaMAntino-3-SLIMER-IT - bnb 4bits
+- Model creator: https://huggingface.co/expertai/
+- Original model: https://huggingface.co/expertai/LLaMAntino-3-SLIMER-IT/
+Original model description:
+---
+language:
+- it
+pipeline_tag: text-generation
+license: llama3
+tags:
+- facebook
+- meta
+- pythorch
+- llama
+- llama-3
+- llamantino
+- zero-shot NER
+- NER
+base_model: swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA
+---
+# SLIMER-IT: Show Less Instruct More Entity Recognition - Italian language
+SLIMER-IT is an LLM specifically instructed for zero-shot NER on Italian language.
+Github repository: https://github.com/andrewzamai/SLIMER_IT
+Instructed on a reduced number of tags (PER, ORG, LOC), it is designed to tackle never-seen-before Named Entity tags by leveraging a prompt enriched with a DEFINITION and GUIDELINES for the NE to be extracted.
+Built with Meta Llama 3, based on the Italian instruction-tuned version swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA
+<!DOCTYPE html>
+<html>
+<head>
+    <title>Instruction Tuning Prompt</title>
+    <style>
+        .container {
+            border: none;
+            padding: 5px;
+            width: 300px;
+            margin: 0 auto;
+            font-family: Arial, sans-serif;
+            font-size: 8px;
+            border-radius: 10px; /* Rounded borders for container */
+            overflow: hidden; /* Ensure child elements respect container's rounded borders */
+        }
+        .header {
+            background-color: black;
+            color: white;
+            padding: 5px;
+            text-align: center;
+            font-weight: bold;
+            font-size: 14px;
+            border-top-left-radius: 10px; /* Rounded top-left corner */
+            border-top-right-radius: 10px; /* Rounded top-right corner */
+        }
+        .content {
+            padding: 5px;
+        }
+        .definition, .guidelines {
+            padding: 5px;
+            border-radius: 10px; /* Rounded borders for definition and guidelines */
+        }
+        .definition {
+            background-color: #ffa3f0;
+        }
+        .guidelines {
+            background-color: #93e2fa;
+        }
+        .footer {
+            background-color: black;
+            color: white;
+            padding: 10px;
+            font-weight: bold;
+            border-bottom-left-radius: 10px;
+            border-bottom-right-radius: 10px;
+        }
+    </style>
+</head>
+<body>
+    <div class="container">
+        <div class="header">Instruction Tuning Prompt</div>
+        <div class="content">
+            <p>Ti viene fornito un input di testo (delimitato da tre virgolette) e un'istruzione.<br>
+            Leggi il testo e rispondi all'istruzione alla fine.</p>
+            <p>"""<br>
+            {input di testo}<br>
+            """</p>
+            <p><b>Istruzione:</b> Estrai tutte le entità di tipo <b>ENTITÀ MITOLOGICA</b> dal testo che hai letto.</p>
+            <p>Ti vengono fornite una <b>DEFINIZIONE</b> e alcune <b>LINEE GUIDA</b>.</p>
+            <div class="definition">
+                <p><b>DEFINIZIONE:</b> <b>ENTITÀ MITOLOGICA</b> denota personaggi, divinità, creature o figure mitologiche provenienti da tradizioni religiose, miti, leggende o folklore.</p>
+            </div>
+            <div class="guidelines">
+                <p><b>LINEE GUIDA:</b> Assicurati di non etichettare come ENTITÀ MITOLOGICA personaggi storici o letterari reali. Ad esempio, 'Alessandro Magno' è un personaggio storico, non una figura mitologica. Inoltre, fai attenzione a distinguere nomi comuni o nomi di luoghi che possono riferirsi anche a figure mitologiche, come 'Diana', che può essere un nome proprio e il nome della dea romana della caccia.</p>
+            </div>
+            <p>Restituisci una lista JSON di istanze di questo tipo. Restituisci una lista vuota se non sono presenti istanze.</p>
+        </div>
+        <div class="footer"></div>
+    </div>
+</body>
+</html>
+<!DOCTYPE html>
+<html lang="en">
+<head>
+<meta charset="UTF-8">
+<meta name="viewport" content="width=device-width, initial-scale=1.0">
+<title>JSON Template</title>
+<style>
+  body {
+    font-family: Arial, sans-serif;
+    line-height: 1.6;
+    padding: 20px;
+  }
+  .description {
+    font-weight: bold;
+    color: #333;
+    margin-bottom: 10px;
+  }
+  .template {
+    background-color: #f0f0f0;
+    padding: 10px;
+    border-radius: 5px;
+    margin-bottom: 20px;
+  }
+  .highlight-orange {
+    color: orange;
+    font-weight: bold;
+  }
+</style>
+</head>
+<body>
+  <div class="description">JSON SLIMER-IT prompt</div>
+  <div class="template">
+    <pre>{
+  "description": "SLIMER prompt for Italian",
+  "prompt_input": "<|start_header_id|>system<|end_header_id|>\n\n Sei un utile assistente.<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\nTi viene fornito un input di testo (delimitato da tre virgolette) e un'istruzione. \nLeggi il testo e rispondi all'istruzione alla fine.\n\"\"\"\n{<span class="highlight-orange">input</span>}\n\"\"\"\nIstruzione: Estrai tutte le entità di tipo {<span class="highlight-orange">NE_name</span>} dal testo che hai letto. Ti vengono fornite una DEFINIZIONE e alcune LINEE GUIDA.\nDEFINIZIONE: {<span class="highlight-orange">definition</span>}\nLINEE GUIDA: {<span class="highlight-orange">guidelines</span>}\nRestituisci una lista JSON di istanze di questo tipo. Restituisci una lista vuota se non sono presenti istanze.<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n"
+  }</pre>
+  </div>
+</body>
+</html>
+```python
+from vllm import LLM, SamplingParams
+vllm_model = LLM(model="expertai/SLIMER-IT")
+sampling_params = SamplingParams(temperature=0, max_tokens=128)
+prompts = [prompter.generate_prompt(instruction, input) for instruction, input in instruction_input_pairs]
+responses = vllm_model.generate(prompts, sampling_params)
+```
+## Citation
+If you find SLIMER-IT useful in your research or work, please cite the following paper:
+``` latex
+@misc{zamai2024slimeritzeroshotneritalian,
+      title={SLIMER-IT: Zero-Shot NER on Italian Language},
+      author={Andrew Zamai and Leonardo Rigutini and Marco Maggini and Andrea Zugarini},
+      year={2024},
+      eprint={2409.15933},
+      archivePrefix={arXiv},
+      primaryClass={cs.CL},
+      url={https://arxiv.org/abs/2409.15933},
+}
+```