marco0antonio/Manga-Balloon-Detector

YOLOv8n Manga Balloon Detector — exp02_v8n_ultra_mobile_480

Detector de balões de fala em páginas de mangá/HQ. Baseado em YOLOv8n (Ultralytics), treinado em 480×480 para uso mobile (ONNX ~12 MB).

• Run ID: treino_20261012_141759_exp02_v8n_ultra_mobile_480
• Experimento: exp02_v8n_ultra_mobile_480
• Backbone: YOLOv8n (pretrained)
• Imagem: 480×480
• Épocas treinadas: 50 (early-stop/patience=15)
• Otimizador: AdamW, lr0=0.001, cos_lr=True
• Precisão mista: AMP
• Semente: 42 (deterministic)
• Formato exportado: best.pt, best.onnx, yolo.onnx (opset simplificado)

Métricas

Validação

Métrica	Valor
Precision	0.9619
Recall	0.9800
mAP@50	0.9860
mAP@50-95	0.9496

Teste cego (test blind)

Métrica	Valor
Precision	0.9715
Recall	0.9381
mAP@50	0.9747
mAP@50-95	0.9148

Baseline test

Métrica	Valor
Precision	0.9698
Recall	0.9469
mAP@50	0.9777
mAP@50-95	0.8952

Arquivos

weights/best.pt        # Pesos PyTorch (melhor época)
weights/last.pt        # Pesos PyTorch (última época)
weights/best.onnx      # Export ONNX dos melhores pesos
yolo.onnx              # ONNX simplificado para mobile (~12 MB)
args.yaml              # Hiperparâmetros do treino
results.csv            # Métricas por época
plots/                 # Curvas PR/F1/P/R, matriz de confusão, batches
backup_summary.json    # Resumo do backup/experimento

Uso — Ultralytics (PyTorch)

from ultralytics import YOLO

model = YOLO("weights/best.pt")
results = model.predict("pagina.jpg", imgsz=480, conf=0.25)
results[0].save("pred.jpg")

Uso — ONNX Runtime (mobile / inferência leve)

import onnxruntime as ort
import numpy as np
from PIL import Image

session = ort.InferenceSession("yolo.onnx", providers=["CPUExecutionProvider"])
img = Image.open("pagina.jpg").resize((480, 480))
x = np.asarray(img, dtype=np.float32).transpose(2, 0, 1)[None] / 255.0
outputs = session.run(None, {session.get_inputs()[0].name: x})

Download via Hugging Face Hub

from huggingface_hub import hf_hub_download

pt = hf_hub_download(repo_id="<user>/<repo>", filename="weights/best.pt")
onnx = hf_hub_download(repo_id="<user>/<repo>", filename="yolo.onnx")

Hiperparâmetros principais

Param	Valor
epochs	50
batch	54
imgsz	480
optimizer	AdamW
lr0 / lrf	0.001 / 0.01
momentum	0.937
weight_decay	0.0015
warmup_epochs	3.0
cos_lr	True
dropout	0.15
mosaic / mixup / copy_paste	0.3 / 0.05 / 0.05
hsv_h / hsv_s / hsv_v	0.0 / 0.0 / 0.25
degrees / shear / perspective	3.0 / 2.0 / 0.0005
fliplr	0.5
close_mosaic	15
patience	15
seed	42

Arquivo completo: args.yaml.

Dataset

Dataset interno manga-balao-treino (não publicado). Classe única: balão de fala. Treino em páginas de mangá/HQ com anotações no formato YOLO.

Limitações

• Treinado em 480×480 — páginas em alta resolução devem ser redimensionadas; detalhes finos podem perder recall.
• Classe única; não distingue tipos de balão (fala, pensamento, narração, grito).
• Viés para o estilo visual do dataset de treino.

Licença

AGPL-3.0, herdada do Ultralytics YOLOv8. Uso comercial exige conformidade com os termos da AGPL ou licença comercial da Ultralytics.

Citação

@software{yolov8_manga_balloon_exp02,
  title  = {YOLOv8n Manga Balloon Detector (exp02_v8n_ultra_mobile_480)},
  year   = {2026},
  note   = {Fine-tune de Ultralytics YOLOv8n para detecção de balões de fala em mangá}
}

@software{ultralytics_yolov8,
  author = {Glenn Jocher and Ayush Chaurasia and Jing Qiu},
  title  = {Ultralytics YOLOv8},
  year   = {2023},
  url    = {https://github.com/ultralytics/ultralytics}
}