Create app.py

app.py

@@ -0,0 +1,70 @@
+import streamlit as st
+import torch
+from unsloth import FastLanguageModel
+from transformers import TextStreamer
+
+# Configuration du modèle
+max_seq_length = 2048
+dtype = None
+load_in_4bit = True
+
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name="Thomslionel/mistral_for_story_generation",
+    max_seq_length=max_seq_length,
+    dtype=dtype,
+    load_in_4bit=load_in_4bit,
+)
+
+model = FastLanguageModel.for_inference(model)
+
+EOS_TOKEN = tokenizer.eos_token
+INSTRUCTION_KEY = "### Instruction:"
+RESPONSE_KEY = "### Réponse:"
+END_KEY = EOS_TOKEN
+INTRO_BLURB = "Ci-dessous se trouve une instruction qui décrit une tâche. Écrivez une réponse qui complète adéquatement la demande."
+PROMPT_FOR_GENERATION_FORMAT = """{intro}
+{instruction_key}
+{instruction}
+{response_key}
+{end_key}
+""".format(
+    intro=INTRO_BLURB,
+    instruction_key=INSTRUCTION_KEY,
+    instruction="{instruction}",
+    response_key=RESPONSE_KEY,
+    end_key=END_KEY,
+)
+
+# Fonction pour créer le prompt avec le titre
+def create_prompt_with_title(titre):
+    instruction = (
+        f"Tu es un écrivain talentueux spécialisé dans les histoires culturelles Burkinabè comiques et narratives. "
+        f"Ton objectif est de créer une histoire captivante, drôle, culturelle et cohérente. "
+        f"Le titre de l'histoire est : {titre}. "
+        f"Assure-toi d'inclure des éléments humoristiques, des personnages intéressants et une intrigue bien développée. "
+        f"Voici le titre : {titre}. Bonne écriture !"
+    )
+    return f"### Instruction:\n{instruction}\n### Response:\n"
+
+# Interface Streamlit
+st.title("Générateur d'Histoires Burkinabè")
+titre = st.text_input("Entrez le titre de l'histoire", "M'BA SOAMBA (le lièvre) et M'BA BAAGA (le chien)")
+
+if st.button("Générer l'histoire"):
+    prompt = create_prompt_with_title(titre)
+    inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
+    text_streamer = TextStreamer(tokenizer)
+    
+    with st.spinner("Génération de l'histoire..."):
+        generated_text = model.generate(
+            **inputs,
+            streamer=text_streamer,
+            max_new_tokens=2048,
+            temperature=1.9,
+            top_p=0.9,
+            top_k=50,
+            repetition_penalty=1.3
+        )
+    
+    st.success("Histoire générée avec succès!")
+    st.text_area("Histoire générée", value=generated_text, height=400)