ayse-solmaz/turkish-sentiment-electra-small

Turkish Sentiment — ELECTRA-small (v2)

Türkçe metinleri Positive / Notr / Negative olarak sınıflandıran küçük (13.7M parametre) bir model. Tarayıcıda Transformers.js ile çalışacak şekilde ONNX formatında da yayınlanmıştır (onnx/model.onnx fp32 55 MB, onnx/model_quantized.onnx int8 14 MB).

Canlı demo: https://ayse-solmaz.github.io/turkish-sentiment-analysis/

Kod: https://github.com/ayse-solmaz/turkish-sentiment-analysis

Kullanım (tarayıcı)

import { pipeline } from '@huggingface/transformers';
const classifier = await pipeline('text-classification', 'ayse-solmaz/turkish-sentiment-electra-small', { dtype: 'q8' });
await classifier('Kargo çok hızlı geldi, ürün harika!');

Eğitim

• Temel model: dbmdz/electra-small-turkish-cased-discriminator
• Veri: winvoker/turkish-sentiment-analysis-dataset; noktalama önündeki boşluklar temizlendi, tekrarlar ve çelişkili etiketler çıkarıldı, sınıf başına 10.000 örnek (dengeli)
• İlk harf augmentation: eğitimde cümlelerin ilk harfi rastgele büyütülüp küçültüldü. Veri setinde nötr cümlelerin %100'ü büyük harfle başlıyordu (olumlu: %8), bu da modelin harf tipine bakarak karar vermesine yol açıyordu.
• Prior düzeltmesi: dengeli eğitimin etkisini gidermek için sınıf skorlarına log(gerçek oran / 1/3) eklendi (son katmanın bias'ına gömülü).
• 2 epoch, max_length 64, lr 1e-4, CPU

Sonuçlar (6.000 örneklik test alt kümesi)

	v1	v2
Macro F1	0.893	0.908
Macro F1 — tüm ilk harfler küçük	0.695	0.908
Macro F1 — tüm ilk harfler büyük	0.877	0.908
Negative precision	0.645	0.781

v2 büyük/küçük harften etkilenmiyor.

Sınırlamalar

• Eğitim verisindeki nötr örneklerin tamamı Wikipedia cümleleridir. Ürün yorumu dilindeki nötr cümleleri ("Bu ürünü dün aldım.", "Fiyatı 200 TL.") olumlu sanabilir, çünkü eğitim verisinde bu dildeki cümlelerin neredeyse hepsi olumludur.
• İroni ve alaycı ifadeler test edilmemiştir.