Novaciano
/

Magnum-1b-Short_Stories-Q5_K_M-GGUF

@@ -2,49 +2,124 @@
 base_model: UUFO-Aigis/Magnum-1b-v1
 tags:
 - llama-cpp
-- gguf-my-repo
 ---
-# Novaciano/Magnum-1b-v1-Q5_K_M-GGUF
-This model was converted to GGUF format from [`UUFO-Aigis/Magnum-1b-v1`](https://huggingface.co/UUFO-Aigis/Magnum-1b-v1) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
-Refer to the [original model card](https://huggingface.co/UUFO-Aigis/Magnum-1b-v1) for more details on the model.
-## Use with llama.cpp
-Install llama.cpp through brew (works on Mac and Linux)
-```bash
-brew install llama.cpp
-```
-Invoke the llama.cpp server or the CLI.
-### CLI:
-```bash
-llama-cli --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -p "The meaning to life and the universe is"
-```
-### Server:
-```bash
-llama-server --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -c 2048
-```
-Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
-Step 1: Clone llama.cpp from GitHub.
-```
-git clone https://github.com/ggerganov/llama.cpp
-```
-Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
-```
-cd llama.cpp && LLAMA_CURL=1 make
-```
-Step 3: Run inference through the main binary.
-```
-./llama-cli --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -p "The meaning to life and the universe is"
 ```
-or
 ```
-./llama-server --hf-repo Novaciano/Magnum-1b-v1-Q5_K_M-GGUF --hf-file magnum-1b-v1-q5_k_m-imat.gguf -c 2048
 ```

 base_model: UUFO-Aigis/Magnum-1b-v1
 tags:
 - llama-cpp
+- koboldcpp
+- sillytavern
+- 1b
+- 4-bit
+- llama 3.2
+- gguf
+license: llama3.2
+pipeline_tag: text-generation
+datasets:
+- allura-org/r_shortstories_24k
+language:
+- es
+- en
 ---
+# Magnum 1B Short Stories
+Este es el modelo Magnum 1B de UUFO-Aigis combinado con el dataset r_short_stories_20k de Allura de.
+## Mejoras conocidas:
+Si, fue creado en base de un modelo entrenado con datasets exclusivamente para partidas roleplay.
+No se conocen mejoras técnicas.
+### Lo conforman las siguientes versiones:
+- **IQ4_XS**
+- **Q4_0**
+- **Q5_K_S**
+- **Q5_0**
+Elige la versión que más se adapte a tus necesidades.
+---
+<center><a href="https://ibb.co/GfxP2GNP"><img src="https://i.ibb.co/gbjgTQhg/RTG.png" alt="RTG" border="0"></a></center>
+Esta es una serie de modelos diseñados para replicar la calidad de prosa de los modelos Claude 3, específicamente Sonnet y Opus.
+Este es un modelo no oficial que entrené por mi cuenta, no estoy afiliado de ninguna manera con Anthracite. Esto fue solo un experimento divertido.
+Este modelo está ajustado sobre LLaMA 3.2-1B.
+## Solicitudes
+Una entrada típica se vería de la siguiente manera:
+```py
+<|im_start|>system
+system prompt<|im_end|>
+<|im_start|>user
+Hola!<|im_end|>
+<|im_start|>assistant
+Un gusto conocerte!<|im_end|>
+<|im_start|>user
+Puedo hacer una pregunta?<|im_end|>
+<|im_start|>assistant
 ```
+## Plantillas de SillyTavern
+A continuación se muestran plantillas de instrucción y contexto para usar en SillyTavern.
+<details><summary>Plantilla de Contexto</summary>
+```yaml
+{
+  "story_string": "<|im_start|>system\n{{#if system}}{{system}}\n{{/if}}{{#if wiBefore}}{{wiBefore}}\n{{/if}}{{#if description}}{{description}}\n{{/if}}{{#if personality}}{{char}}'s personality: {{personality}}\n{{/if}}{{#if scenario}}Scenario: {{scenario}}\n{{/if}}{{#if wiAfter}}{{wiAfter}}\n{{/if}}{{#if persona}}{{persona}}\n{{/if}}{{trim}}<|im_end|>\n",
+  "example_separator": "",
+  "chat_start": "",
+  "use_stop_strings": false,
+  "allow_jailbreak": false,
+  "always_force_name2": true,
+  "trim_sentences": false,
+  "include_newline": false,
+  "single_line": false,
+  "name": "Magnum ChatML"
+}
 ```
+</details><br>
+<details><summary>Plantilla de Instrucción</summary>
+```yaml
+{
+  "system_prompt": "Actualmente, tu rol es {{char}}, descrito en detalle a continuación. Como {{char}}, continúa el intercambio narrativo con {{user}}.\n\n<Guidelines>\n• Mantén la persona del personaje pero permite que evolucione con la historia.\n• Sé creativo y proactivo. Impulsa la historia hacia adelante, introduciendo tramas y eventos cuando sea relevante.\n• Se fomentan todo tipo de salidas; responde de acuerdo con la narrativa.\n• Incluye diálogos, acciones y pensamientos en cada respuesta.\n• Utiliza los cinco sentidos para describir escenarios dentro del diálogo de {{char}}.\n• Usa símbolos emocionales como "!" y "~" en contextos apropiados.\n• Incorpora onomatopeyas cuando sea adecuado.\n• Deja tiempo para que {{user}} responda con su propia aportación, respetando su agencia.\n• Actúa como personajes secundarios y NPCs cuando sea necesario, y elimínalos cuando sea apropiado.\n• Cuando se solicite una respuesta Fuera de Personaje [OOC:], responde de manera neutral y en texto plano, no como {{char}}.\n</Guidelines>\n\n<Forbidden>\n�� Usar embellecimientos literarios excesivos y prosa floreada, a menos que lo dicte la persona de {{char}}.\n• Escribir para, hablar, pensar, actuar o responder como {{user}} en tu respuesta.\n• Salidas repetitivas y monótonas.\n• Tendencia excesivamente positiva en tus respuestas.\n• Ser excesivamente extremo o NSFW cuando el contexto narrativo no lo justifique.\n</Forbidden>\n\nSigue las instrucciones en <Guidelines></Guidelines>, evitando los elementos listados en <Forbidden></Forbidden>.",
+  "output_sequence": "<|im_start|>assistant\n",
+  "last_output_sequence": "",
+  "system_sequence": "<|im_start|>system\n",
+  "stop_sequence": "<|im_end|>",
+  "wrap": false,
+  "macro": true,
+  "names": true,
+  "names_force_groups": true,
+  "activation_regex": "",
+  "system_sequence_prefix": "",
+  "system_sequence_suffix": "",
+  "first_output_sequence": "",
+  "skip_examples": false,
+  "output_suffix": "<|im_end|>\n",
+  "input_suffix": "<|im_end|>\n",
+  "system_suffix": "<|im_end|>\n",
+  "user_alignment_message": "",
+  "system_same_as_user": false,
+  "last_system_sequence": "",
+  "name": "Magnum ChatML"
+}
 ```
+</details><br>
+## Creditos
+Me gustaría agradecer a Meta por proporcionar los pesos para LLaMA 3.2 1B y Anthracite (punto org) por crear los modelos y conjuntos de datos de Magnum. <3
+## Datasets por defecto del modelo base
+- [anthracite-org/kalo-opus-instruct-22k-no-refusal](https://huggingface.co/datasets/anthracite-org/kalo-opus-instruct-22k-no-refusal)
+- [anthracite-org/stheno-filtered-v1.1](https://huggingface.co/datasets/anthracite-org/stheno-filtered-v1.1)
+- [anthracite-org/nopm_claude_writing_fixed](https://huggingface.co/datasets/anthracite-org/nopm_claude_writing_fixed)
+- [Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned](https://huggingface.co/datasets/Epiculous/Synthstruct-Gens-v1.1-Filtered-n-Cleaned)
+- [Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned](https://huggingface.co/datasets/Epiculous/SynthRP-Gens-v1.1-Filtered-n-Cleaned)
+## Capacitación
+El entrenamiento se realizó durante 3 épocas. Utilicé 4 RTX 3090 para ajustar todos los parámetros del modelo.
+## Seguridad
+xD
+...