Instructions to use openamer-max/openamer-max-ultra with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use openamer-max/openamer-max-ultra with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-ultra # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-ultra
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf openamer-max/openamer-max-ultra # Run inference directly in the terminal: llama cli -hf openamer-max/openamer-max-ultra
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf openamer-max/openamer-max-ultra # Run inference directly in the terminal: ./build/bin/llama cli -hf openamer-max/openamer-max-ultra
Use Docker
docker model run hf.co/openamer-max/openamer-max-ultra
- Llama new
- LM Studio
- Jan
- vLLM
How to use openamer-max/openamer-max-ultra with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "openamer-max/openamer-max-ultra" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "openamer-max/openamer-max-ultra", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/openamer-max/openamer-max-ultra
- Ollama
How to use openamer-max/openamer-max-ultra with Ollama:
ollama run hf.co/openamer-max/openamer-max-ultra
- Unsloth Desktop
- Pi
How to use openamer-max/openamer-max-ultra with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf openamer-max/openamer-max-ultra
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "openamer-max/openamer-max-ultra" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use openamer-max/openamer-max-ultra with Docker Model Runner:
docker model run hf.co/openamer-max/openamer-max-ultra
- Lemonade
How to use openamer-max/openamer-max-ultra with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull openamer-max/openamer-max-ultra
Run and chat with the model
lemonade run user.openamer-max-ultra-{{QUANT_TAG}}List all available models
lemonade list
- Hermes Agent
How to use openamer-max/openamer-max-ultra with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf openamer-max/openamer-max-ultra
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default openamer-max/openamer-max-ultra
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use openamer-max/openamer-max-ultra with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf openamer-max/openamer-max-ultra
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "openamer-max/openamer-max-ultra" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
OpenAmer-Max-Ultra — 32B
Sechste Stufe der Familie, benannt nach Parameterzahl. Stufe Ultra: über 30 bis 100 Milliarden Parameter. Basis: Qwen2.5-32B-Instruct, trainiert mit QLoRA.
Messung — und die unangenehme Wahrheit
| Stufe | Parameter | Prüfstand (45 Fälle) |
|---|---|---|
| Desktop | 14,70B | 44/45 (97,8 %) |
| Pro | 24,00B | 43/45 (95,6 %) |
| Phone | 3,09B | 43/45 (95,6 %) |
| Ultra | 32,00B | 41/45 (91,1 %) |
| Tab | 7,62B | 42/45 (93,3 %) |
| Watch | 0,60B | 37/45 (82,2 %) |
| Basis Qwen2.5-14B (ohne Training) | 14,7B | 22/45 (48,9 %) |
Ultra ist die größte Stufe und trotzdem nicht die beste. Sie liegt zwei Punkte unter Desktop und einen unter Pro. Mehr Parameter haben auf diesem Prüfstand nicht geholfen; mit 2.890 Trainingssätzen ist die Datenmenge für 32 Milliarden Parameter zu klein, um den Vorsprung der kleineren Stufen zu wiederholen. Wir schreiben das hier hin, statt die Zahl zu verschweigen.
Der Prüfstand misst knappe Fakten, Formatbefolgung, Verneinungen und Ehrlichkeit bei Fragen, deren Antwort niemand kennt. Er misst nicht freie Schlussfolgerungen oder langen Kontext. 45 Fälle sind ein Signal, kein Beweis.
Ein Befehl
ollama run amersacirovic/openamer-max-ultra
Dateien
| Datei | Größe | Zweck |
|---|---|---|
openamer-max-ultra-q4.gguf |
18,49 GB | Q4_K_M, für Ollama und llama.cpp |
| Adapter separat | — | openamer-max-ultra-adapter |
Technische Daten
- Basismodell: Qwen/Qwen2.5-32B-Instruct (Apache-2.0)
- Training: QLoRA, r=32, alpha=64, 1 Epoche, 2.716 Sätze, 4 Bit NF4
- VRAM-Spitze beim Training: 25,79 GB (L40S, 48 GB)
Grenzen
- Kleiner als Desktop bewertet (41 gegen 44 von 45) — siehe Tabelle oben.
- Trainingsdatenmenge rechtfertigt 32B nicht; die kleineren Stufen sind effizienter.
- 45 Testfälle sind eine kleine Stichprobe.
- Die Antworten sind auf Deutsch, Englisch und Bosnisch trainiert; andere Sprachen sind nicht geprüft.
Herkunft
Amer Sacirovic. Apache-2.0. Gebaut mit lokalem Training und HuggingFace-Jobs.
Wenn dir das hilft: Spenden-Link.
- Downloads last month
- 117
We're not able to determine the quantization variants.