---
language:
- kk
- ru
- en
base_model:
- OpenGVLab/InternVL3_5-4B
pipeline_tag: image-text-to-text
---
[Қазақша](#кіріспе)     [English](#introduction)

# Qolda
[![GitHub](https://img.shields.io/badge/GitHub-Qolda--deployment-blue?logo=github)](https://github.com/IS2AI/Qolda-deployment)
[![License](https://img.shields.io/badge/License-Apache%202.0-green.svg)](https://www.apache.org/licenses/LICENSE-2.0)
[![Paper](https://img.shields.io/badge/Paper-IEEE%20Access-00629B?logo=ieee&logoColor=white)](https://ieeexplore.ieee.org/document/11454511)

## Introduction
Built on top of InternVL3.5 and Qwen3, **Qolda** is a small vision-language model designed to operate in Kazakh, Russian, and English. The model has 4.3B parameters and comprises the InternViT-300M vision encoder and MLP Projector components from [InternVL3.5-4B](https://huggingface.co/OpenGVLab/InternVL3_5-4B), along with the [Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) language model. Model training was performed using the [InternVL framework](https://github.com/OpenGVLab/InternVL) 💙

The name "Qolda" reflects both its design and purpose in Kazakh: "in hand" (қолда) for its compact accessibility, and "to support" (қолдау) for its assistive nature.

## Evaluation

The benchmark suites and model collections are available here:

- **Text benchmarks:** https://huggingface.co/collections/issai/qolda-language-benchmarks
- **Vision benchmarks:** https://huggingface.co/collections/issai/qolda-vision-benchmarks
- **Qolda-AVL series:** https://huggingface.co/collections/issai/qolda-avl

The following tables report benchmark results across the Qolda model family. **Higher is better** unless otherwise noted, and the best result within each row is shown in **bold**.

*Qolda No-Think / Qolda Think · 5B / 9B / 34B = Qolda-AVL variants*

### Text Benchmarks

| Benchmark | Language | **Qolda No-Think (4B)** | **Qolda Think (4B)** | Qolda-AVL-5B | Qolda-AVL-9B | Qolda-AVL-34B |
|:--|:--|--:|--:|--:|--:|--:|
| **MMLU** | Kazakh | 58.39 | 69.28 | 73.07 | 73.89 | **81.94** |
|  | English | 70.03 | 76.46 | 79.09 | 80.96 | **86.71** |
| **MMLU-Pro** | Kazakh | 40.62 | 57.68 | 62.21 | 64.28 | **73.67** |
|  | English | 58.09 | 66.31 | 71.26 | 72.61 | **79.00** |
|  | Russian | 47.42 | 62.45 | 66.79 | 68.29 | **76.34** |
| **GPQA** | Kazakh | 31.89 | 38.60 | 47.91 | 46.97 | **58.77** |
|  | English | 39.46 | 45.62 | 52.68 | 53.36 | **63.81** |
|  | Russian | 32.60 | 40.19 | 48.78 | 51.34 | **59.36** |
| **ARC** | Kazakh | 86.14 | 92.30 | 93.59 | 94.27 | **96.76** |
|  | English | 94.22 | 96.11 | 96.90 | 97.29 | **98.17** |
|  | Russian | 91.17 | 94.17 | 96.11 | 96.62 | **97.63** |
| **GSM8K** | Kazakh | 73.01 | 83.00 | 85.75 | 83.17 | **90.52** |
|  | English | 62.85 | 90.22 | 95.22 | 95.83 | **96.44** |
|  | Russian | 84.99 | 83.98 | 90.90 | 92.04 | **94.31** |
| **MMLU-Redux** | Kazakh | 60.06 | 72.38 | 76.24 | 76.92 | **84.39** |
|  | English | 72.91 | 79.40 | 82.65 | 84.56 | **88.11** |
| **KazCulture** | Kazakh | 53.00 | 47.45 | 44.75 | 56.39 | **62.37** |
| **KazMMLU** | Kazakh | 58.11 | 66.14 | 69.27 | 73.04 | **78.98** |
| **KazBench** | Kazakh | 64.23 | 61.12 | 61.83 | 64.61 | **70.05** |
| **Belebele** | Kazakh | 81.07 | 82.91 | 81.70 | 84.76 | **88.78** |
| **PIQA** | Kazakh | 63.00 | 70.00 | 81.00 | 78.00 | **85.00** |
| **INCLUDE** | Kazakh | 45.20 | 46.00 | 53.80 | 57.20 | **61.80** |
|  | Russian | 59.17 | 56.52 | 58.15 | 64.49 | **70.83** |
| **KKCOPA** | Kazakh | 70.00 | 73.79 | 76.60 | 78.11 | **79.60** |
| **NIS Math** | Kazakh | 66.00 | 87.88 | 94.00 | 93.00 | **98.00** |
| **KazQAD** | Kazakh | **70.99** | 67.40 | 42.28 | 65.76 | 70.36 |
| **RAGBench** | Kazakh | 54.95 | 66.81 | 52.12 | 62.91 | **69.98** |

### Vision Benchmarks

| Benchmark | Language | **Qolda No-Think (4B)** | **Qolda Think (4B)** | Qolda-AVL-5B | Qolda-AVL-9B | Qolda-AVL-34B |
|:--|:--|--:|--:|--:|--:|--:|
| **RealWorldQA** | Kazakh | 53.86 | 48.10 | 52.81 | 50.07 | **55.42** |
|  | English | 61.57 | 61.70 | 67.84 | 70.07 | **71.76** |
|  | Russian | 56.08 | 57.12 | 59.35 | 60.39 | **66.41** |
| **MMStar** | Kazakh | 53.08 | 59.60 | 67.45 | 68.89 | **72.50** |
|  | English | 58.48 | 65.04 | 70.27 | 72.93 | **75.93** |
|  | Russian | 55.48 | 59.84 | 66.47 | 69.45 | **73.93** |
| **AI2D** | Kazakh | 63.48 | 66.26 | 72.18 | 73.34 | **79.05** |
|  | English | 73.99 | 75.61 | 79.40 | 81.96 | **84.55** |
| **MathVista** | Kazakh | 58.32 | 66.33 | 70.17 | 72.34 | **74.65** |
|  | English | 63.14 | 71.04 | 76.75 | 80.94 | **82.57** |
| **MathVision** | Kazakh | 35.41 | 44.38 | 52.07 | 55.75 | **62.06** |
|  | English | 42.00 | 48.05 | 54.93 | 58.24 | **63.90** |
| **MMBench** | Kazakh | 79.97 | 83.85 | 87.69 | 89.19 | **90.18** |
|  | English | 83.05 | 84.40 | 87.89 | 89.01 | **90.43** |
| **OCRBench** | Kazakh | 49.89 | 46.49 | 30.61 | 51.25 | **53.97** |
|  | English | 69.90 | 68.70 | 73.20 | 77.20 | **79.20** |



## Model Usage
To run inference with Transformers, please follow the [guidelines](https://huggingface.co/OpenGVLab/InternVL3_5-4B#inference-with-transformers) from InternVL.

Alternatively, to run the model via an OpenAI-compatible server, you can use lmdeploy:
```bash
pip install lmdeploy>=0.9.1

lmdeploy serve api_server issai/Qolda --server-port 23333 --tp 1 --backend pytorch
```

**Note:** Unlike the original InternVL3.5, this model requires the `enable_thinking` parameter to be explicitly set in the `extra_body` of your API calls. However, depending on the task complexity, an empty thinking response might be generated.

Then, make a standard API call:

```python
import base64
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

image_path = "./assets/eval-results-text.png"

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[{
        'role': 'user',
        'content': [
            {
                'type': 'text',
                'text': 'Берілген диаграмманың сипаттамасын бер.'
            },
            {
                'type': 'image_url',
                'image_url': {
                    'url': f'data:image/png;base64,{encode_image(image_path)}',
                },
            }
        ],
    }],
    max_tokens=8192,
    temperature=0.6,
    top_p=0.95,
    extra_body={
        "top_k": 20,
        "enable_thinking": True
    },
)

print(response.choices[0].message.content)
```

## License
This model is licensed under the Apache License 2.0.

## Citation
```bibtex
@article{qolda,
  author={Arystanbekov, Batyr and Nurimanov, Aspandiyar and Maxutov, Akylbek and Albrekht, Vladimir and Kuzdeuov, Askat and Varol, Huseyin Atakan},
  journal={IEEE Access}, 
  title={Qolda: A Small Vision–Language Model for the Kazakh Language}, 
  year={2026},
  volume={14},
  number={},
  pages={46392-46414},
  keywords={Computational modeling;Training;Cognition;Adaptation models;Data models;Visualization;Hardware;Benchmark testing;Multilingual;Computer architecture;Large language models;vision-language models;low-resource languages;Kazakh natural language processing;multimodal learning;small vision-language models},
  doi={10.1109/ACCESS.2026.3676919}
}

```


## Кіріспе
InternVL3.5 және Qwen3 негізінде жасалған **Qolda** — қазақ, орыс және ағылшын тілдерінде жұмыс істеуге арналған шағын көру-тілдік моделі (vision-language model). Модель 4,3 млрд параметрге ие және [InternVL3.5-4B](https://huggingface.co/OpenGVLab/InternVL3_5-4B) моделінің InternViT-300M көру энкодері мен MLP проектор компоненттерін, сондай-ақ [Qwen3-4B](https://huggingface.co/Qwen/Qwen3-4B) тілдік моделін қамтиды. Модельді оқыту [InternVL фреймворкі](https://github.com/OpenGVLab/InternVL) көмегімен жүзеге асырылды 💙

"Qolda" атауы модельдің дизайны мен мақсатын қазақ тіліндегі қолда сөзінің қос мағынасы арқылы көрсетеді. Біріншісі, шағын әрі қолжетімді болуы үшін "қолда" cөзі арқылы және екіншісі, көмекші табиғаты үшін, "қолдау" мағынасы арқылы.

## Бағалау

Бенчмарк жинақтары мен модель топтамалары мына сілтемелерде қолжетімді:

- **Мәтіндік бенчмарктер:** https://huggingface.co/collections/issai/qolda-language-benchmarks
- **Визуалды бенчмарктер:** https://huggingface.co/collections/issai/qolda-vision-benchmarks
- **Qolda-AVL сериясы:** https://huggingface.co/collections/issai/qolda-avl

Төмендегі кестелерде Qolda модельдер тобы бойынша бенчмарк нәтижелері берілген. 

*Qolda No-Think / Qolda Think · 5B / 9B / 34B = Qolda-AVL нұсқалары*

### Мәтіндік бенчмарктер

| Benchmark | Тіл | **Qolda No-Think (4B)** | **Qolda Think (4B)** | Qolda-AVL-5B | Qolda-AVL-9B | Qolda-AVL-34B |
|:--|:--|--:|--:|--:|--:|--:|
| **MMLU** | Қазақша | 58.39 | 69.28 | 73.07 | 73.89 | **81.94** |
|  | Ағылшынша | 70.03 | 76.46 | 79.09 | 80.96 | **86.71** |
| **MMLU-Pro** | Қазақша | 40.62 | 57.68 | 62.21 | 64.28 | **73.67** |
|  | Ағылшынша | 58.09 | 66.31 | 71.26 | 72.61 | **79.00** |
|  | Орысша | 47.42 | 62.45 | 66.79 | 68.29 | **76.34** |
| **GPQA** | Қазақша | 31.89 | 38.60 | 47.91 | 46.97 | **58.77** |
|  | Ағылшынша | 39.46 | 45.62 | 52.68 | 53.36 | **63.81** |
|  | Орысша | 32.60 | 40.19 | 48.78 | 51.34 | **59.36** |
| **ARC** | Қазақша | 86.14 | 92.30 | 93.59 | 94.27 | **96.76** |
|  | Ағылшынша | 94.22 | 96.11 | 96.90 | 97.29 | **98.17** |
|  | Орысша | 91.17 | 94.17 | 96.11 | 96.62 | **97.63** |
| **GSM8K** | Қазақша | 73.01 | 83.00 | 85.75 | 83.17 | **90.52** |
|  | Ағылшынша | 62.85 | 90.22 | 95.22 | 95.83 | **96.44** |
|  | Орысша | 84.99 | 83.98 | 90.90 | 92.04 | **94.31** |
| **MMLU-Redux** | Қазақша | 60.06 | 72.38 | 76.24 | 76.92 | **84.39** |
|  | Ағылшынша | 72.91 | 79.40 | 82.65 | 84.56 | **88.11** |
| **KazCulture** | Қазақша | 53.00 | 47.45 | 44.75 | 56.39 | **62.37** |
| **KazMMLU** | Қазақша | 58.11 | 66.14 | 69.27 | 73.04 | **78.98** |
| **KazBench** | Қазақша | 64.23 | 61.12 | 61.83 | 64.61 | **70.05** |
| **Belebele** | Қазақша | 81.07 | 82.91 | 81.70 | 84.76 | **88.78** |
| **PIQA** | Қазақша | 63.00 | 70.00 | 81.00 | 78.00 | **85.00** |
| **INCLUDE** | Қазақша | 45.20 | 46.00 | 53.80 | 57.20 | **61.80** |
|  | Орысша | 59.17 | 56.52 | 58.15 | 64.49 | **70.83** |
| **KKCOPA** | Қазақша | 70.00 | 73.79 | 76.60 | 78.11 | **79.60** |
| **NIS Math** | Қазақша | 66.00 | 87.88 | 94.00 | 93.00 | **98.00** |
| **KazQAD** | Қазақша | **70.99** | 67.40 | 42.28 | 65.76 | 70.36 |
| **RAGBench** | Қазақша | 54.95 | 66.81 | 52.12 | 62.91 | **69.98** |

### Визуалды бенчмарктер

| Benchmark | Тіл | **Qolda No-Think (4B)** | **Qolda Think (4B)** | Qolda-AVL-5B | Qolda-AVL-9B | Qolda-AVL-34B |
|:--|:--|--:|--:|--:|--:|--:|
| **RealWorldQA** | Қазақша | 53.86 | 48.10 | 52.81 | 50.07 | **55.42** |
|  | Ағылшынша | 61.57 | 61.70 | 67.84 | 70.07 | **71.76** |
|  | Орысша | 56.08 | 57.12 | 59.35 | 60.39 | **66.41** |
| **MMStar** | Қазақша | 53.08 | 59.60 | 67.45 | 68.89 | **72.50** |
|  | Ағылшынша | 58.48 | 65.04 | 70.27 | 72.93 | **75.93** |
|  | Орысша | 55.48 | 59.84 | 66.47 | 69.45 | **73.93** |
| **AI2D** | Қазақша | 63.48 | 66.26 | 72.18 | 73.34 | **79.05** |
|  | Ағылшынша | 73.99 | 75.61 | 79.40 | 81.96 | **84.55** |
| **MathVista** | Қазақша | 58.32 | 66.33 | 70.17 | 72.34 | **74.65** |
|  | Ағылшынша | 63.14 | 71.04 | 76.75 | 80.94 | **82.57** |
| **MathVision** | Қазақша | 35.41 | 44.38 | 52.07 | 55.75 | **62.06** |
|  | Ағылшынша | 42.00 | 48.05 | 54.93 | 58.24 | **63.90** |
| **MMBench** | Қазақша | 79.97 | 83.85 | 87.69 | 89.19 | **90.18** |
|  | Ағылшынша | 83.05 | 84.40 | 87.89 | 89.01 | **90.43** |
| **OCRBench** | Қазақша | 49.89 | 46.49 | 30.61 | 51.25 | **53.97** |
|  | Ағылшынша | 69.90 | 68.70 | 73.20 | 77.20 | **79.20** |


## Модельді қолдану
Transformers арқылы инференсті іске қосу үшін InternVL ұсынған [нұсқаулықтарды](https://huggingface.co/OpenGVLab/InternVL3_5-4B#inference-with-transformers) орындаңыз.

Немесе, модельді OpenAI-үйлесімді сервер арқылы іске қосу үшін lmdeploy құралын пайдалануға болады:
```bash
pip install lmdeploy>=0.9.1

lmdeploy serve api_server issai/Qolda --server-port 23333 --tp 1 --backend pytorch
```

**Ескерту:** Qolda-ның түпнұсқалық InternVL3.5-тен айырмашылығы, бұл модель API call жасаған кезде `extra_body` бөлігінде `enable_thinking` параметрінің нақты орнатылуын талап етеді. Тапсырманың күрделілігіне байланысты бос thinking жауабы қайтарылуы мүмкін.

Содан соң, стандартты API call жасаңыз:

```python
import base64
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode('utf-8')

image_path = "./assets/eval-results-text.png"

response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[{
        'role': 'user',
        'content': [
            {
                'type': 'text',
                'text': 'Берілген диаграмманың сипаттамасын бер.'
            },
            {
                'type': 'image_url',
                'image_url': {
                    'url': f'data:image/png;base64,{encode_image(image_path)}',
                },
            }
        ],
    }],
    max_tokens=8192,
    temperature=0.6,
    top_p=0.95,
    extra_body={
        "top_k": 20,
        "enable_thinking": True
    },
)

print(response.choices[0].message.content)
```

## Лицензия
Бұл модель Apache License 2.0 бойынша лицензияланған.

## Сілтеме
```bibtex
@article{qolda,
  author={Arystanbekov, Batyr and Nurimanov, Aspandiyar and Maxutov, Akylbek and Albrekht, Vladimir and Kuzdeuov, Askat and Varol, Huseyin Atakan},
  journal={IEEE Access}, 
  title={Qolda: A Small Vision–Language Model for the Kazakh Language}, 
  year={2026},
  volume={14},
  number={},
  pages={46392-46414},
  keywords={Computational modeling;Training;Cognition;Adaptation models;Data models;Visualization;Hardware;Benchmark testing;Multilingual;Computer architecture;Large language models;vision-language models;low-resource languages;Kazakh natural language processing;multimodal learning;small vision-language models},
  doi={10.1109/ACCESS.2026.3676919}
}

```