# Pixtral

[Pixtral](https://huggingface.co/papers/2410.07073)은 자연 이미지와 문서를 이해하도록 학습된 멀티모달 모델입니다. 2D RoPE 임베딩을 사용하여 리사이징이나 패딩 없이 이미지의 자연스러운 해상도와 종횡비를 그대로 받아들입니다. 또한 Pixtral은 다수의 이미지를 처리하기 위한 128K 토큰의 긴 컨텍스트 윈도우를 제공합니다. Pixtral은 400M 비전 인코더와 12B Mistral Nemo 디코더를 결합합니다.

<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/pixtral_architecture.webp"
alt="drawing" width="600"/>

 Pixtral 아키텍처. 블로그 게시물에서 가져왔습니다.

모든 원본 Pixtral 체크포인트는 [Mistral AI](https://huggingface.co/mistralai/models?search=pixtral) 조직에서 찾을 수 있습니다.

> [!TIP]
> 이 모델은 [amyeroberts](https://huggingface.co/amyeroberts)와 [ArthurZ](https://huggingface.co/ArthurZ)가 기여했습니다. Pixtral을 다양한 비전 및 언어 작업에 적용하는 방법에 대한 추가 예제는 오른쪽 사이드바의 Pixtral 모델들을 클릭하여 확인하세요.

```python
import torch
from transformers import AutoProcessor, LlavaForConditionalGeneration

model_id = "mistral-community/pixtral-12b"
model = LlavaForConditionalGeneration.from_pretrained(model_id, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)

url_dog = "https://picsum.photos/id/237/200/300"
url_mountain = "https://picsum.photos/seed/picsum/200/300"

chat = [
    {
      "role": "user", "content": [
        {"type": "text", "content": "Can this animal"}, 
        {"type": "image", "url": url_dog}, 
        {"type": "text", "content": "live here?"}, 
        {"type": "image", "url" : url_mountain}
      ]
    }
]

inputs = processor.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
generate_ids = model.generate(**inputs, max_new_tokens=500)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
```

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 [Quantization](../quantization/overview) 개요를 참조하세요.

아래 예제는 [bitsandbytes](../quantization/bitsandbytes)를 사용하여 모델을 4-bit로 양자화합니다.

```python
import requests
import torch
from PIL import Image

from transformers import AutoProcessor, BitsAndBytesConfig, LlavaForConditionalGeneration

model_id = "mistral-community/pixtral-12b"

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = LlavaForConditionalGeneration.from_pretrained(
    model_id,
    quantization_config=quantization_config,
    device_map="auto"
)
processor = AutoProcessor.from_pretrained(model_id)

dog_url = "https://picsum.photos/id/237/200/300"
mountain_url = "https://picsum.photos/seed/picsum/200/300"
dog_image = Image.open(requests.get(dog_url, stream=True).raw)
mountain_image = Image.open(requests.get(mountain_url, stream=True).raw)

chat = [
    {
      "role": "user", "content": [
        {"type": "text", "text": "Can this animal"},
        {"type": "image"},
        {"type": "text", "text": "live here?"},
        {"type": "image"}
      ]
    }
]

prompt = processor.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = processor(text=prompt, images=[dog_image, mountain_image], return_tensors="pt").to(model.device)

inputs["pixel_values"] = inputs["pixel_values"].to(model.dtype)
inputs = {k: v.to(model.device) for k, v in inputs.items()}

generate_ids = model.generate(**inputs, max_new_tokens=100)
output = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
print(output)
```

## The input is a single word "Notes".

참고

- Pixtral은 비전 인코더로 [PixtralVisionModel](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralVisionModel)을, 언어 디코더로 [MistralForCausalLM](/docs/transformers/v5.23.0/ko/model_doc/mistral#transformers.MistralForCausalLM)을 사용합니다.
- 모델은 내부적으로 `[IMG]` 토큰 플레이스홀더를 이미지 임베딩으로 대체합니다.

    ```py
    "<s>[INST][IMG]\nWhat are the things I should be cautious about when I visit this place?[/INST]"
    ```

    `[IMG]` 토큰은 각 이미지의 높이와 너비에 따라 결정되는 개수의 `[IMG]` 토큰으로 대체됩니다. 이미지의 각 행은 `[IMG_BREAK]` 토큰으로 구분되고, 각 이미지는 `[IMG_END]` 토큰으로 구분됩니다. 이러한 토큰을 처리하려면 `~Processor.apply_chat_template` 메서드를 사용하세요.

## PixtralVisionConfig[[transformers.PixtralVisionConfig]]

#### transformers.PixtralVisionConfig[[transformers.PixtralVisionConfig]]

```python
transformers.PixtralVisionConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, hidden_size: int = 1024, intermediate_size: int = 4096, num_hidden_layers: int = 24, num_attention_heads: int = 16, num_channels: int = 3, image_size: int | list[int] | tuple[int, int] = 1024, patch_size: int | list[int] | tuple[int, int] = 16, hidden_act: str = 'gelu', attention_dropout: float | int = 0.0, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, initializer_range: float = 0.02)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/configuration_pixtral.py#L24)

**매개변수:**

hidden_size (`int`, *선택 사항*, 기본값 `1024`) : 숨겨진 표현의 차원.

intermediate_size (`int`, *선택 사항*, 기본값 `4096`) : MLP 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `24`) : Transformer decoder의 숨겨진 레이어 수.

num_attention_heads (`int`, *선택 사항*, 기본값 `16`) : Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다.

num_channels (`int`, *선택 사항*, 기본값 `3`) : 입력 채널의 수입니다.

image_size (`Union[int, list[int], tuple[int, int]]`, *선택 사항*, 기본값 `1024`) : 각 이미지의 크기(해상도).

patch_size (`Union[int, list[int], tuple[int, int]]`, *선택*, 기본값 `16`) : 각 패치의 크기(해상도).

hidden_act (`str`, *선택 사항*, 기본값 `gelu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

attention_dropout (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *선택*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 `rope_theta` 값이 포함되어야 하며, 더 긴 `max_position_embeddings`로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수도 선택적으로 포함할 수 있습니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

이것은 PixtralVisionModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Pixtral 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [mistral-labs/pixtral-12b](https://huggingface.co/mistral-labs/pixtral-12b)와 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/v5.23.0/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import PixtralVisionModel, PixtralVisionConfig

>>> # Initializing a Pixtral-12B style configuration
>>> config = PixtralVisionConfig()

>>> # Initializing a model (with randomly initialized weights) from the configuration
>>> model = PixtralVisionModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## MistralCommonBackend[[transformers.MistralCommonBackend]]

#### transformers.MistralCommonBackend[[transformers.MistralCommonBackend]]

```python
transformers.MistralCommonBackend(tokenizer_path: str | os.PathLike | pathlib.Path, mode: str | ValidationMode = 'test', model_max_length: int = 1000000000000000019884624838656, padding_side: str = 'left', truncation_side: str = 'right', model_input_names: list[str] | None = None, clean_up_tokenization_spaces: bool = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L194)

`mistral-common` 토크나이저를 래핑하는 클래스입니다.

`mistral-common`은 Mistral AI 모델의 공식 토크나이저 라이브러리입니다. 사용하려면 다음으로 설치해야 합니다:

```bash
pip install transformers[mistral-common]
```

그렇지 않으면 토크나이저는 Transformers의 토크나이저 구현으로 폴백됩니다.

`mistral-common`에 대한 자세한 내용은 [mistral-common](https://github.com/mistralai/mistral-common)을 참조하세요.

이 클래스는 `mistral_common.tokens.tokenizers.mistral.MistralTokenizer`를 감싸는 래퍼입니다. 공식 mistral-common 토크나이저를 사용하여 토큰화를 수행하는 Hugging Face 호환 인터페이스를 제공하며, `PreTrainedTokenizerBase` 클래스를 상속합니다.

`PythonBackend` 클래스와의 주요 동작 차이점은 다음과 같습니다:

- 시퀀스 쌍은 지원되지 않습니다. 호환성을 위해 시그니처는 유지되었지만, 시퀀스 쌍과 관련된 모든 인수는 무시됩니다. 쌍에 대한 반환 값은 `None`으로 반환됩니다.
- `is_split_into_words` 인자는 지원되지 않습니다.
- 토크나이저에 새로운 토큰을 추가할 수 없습니다. `mistral-common`에서는 특수 토큰이 Transformers와 다르게 처리됩니다. `mistral-common`에서 특수 토큰은 절대 직접 인코딩되지 않습니다. 즉, `tokenizer.encode("<s>")`은 `<s>` 토큰의 ID를 반환하지 않습니다. 대신, 문자열 `"<s>"`의 토크나이제이션에 해당하는 ID 목록을 반환합니다. 자세한 내용은 [mistral-common 문서](https://mistralai.github.io/mistral-common/usage/tokenizers/#special-tokens)를 참조하세요.

이 클래스를 개선할 제안이 있으시면, 토크나이저와 관련된 경우 [mistral-common GitHub 저장소](https://github.com/mistralai/mistral-common/issues)에, Hugging Face 인터페이스와 관련된 경우 [Transformers GitHub 저장소](https://github.com/huggingface/transformers/issues)에 이슈를 열어 주세요.

#### add_special_tokens[[transformers.MistralCommonBackend.add_special_tokens]]

```python
add_special_tokens(special_tokens_dict: dict[str, str | tokenizers.AddedToken | collections.abc.Sequence[str | tokenizers.AddedToken]], replace_extra_special_tokens: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1679)

`MistralCommonBackend`는 설계상 `add_special_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### add_tokens[[transformers.MistralCommonBackend.add_tokens]]

```python
add_tokens(special_tokens_dict: dict[str, str | tokenizers.AddedToken | collections.abc.Sequence[str | tokenizers.AddedToken]], replace_extra_special_tokens: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1691)

`MistralCommonBackend`는 설계상 `add_special_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### apply_chat_template[[transformers.MistralCommonBackend.apply_chat_template]]

```python
apply_chat_template(conversation: list[dict[str, str]] | list[list[dict[str, str]]], tools: list[dict | collections.abc.Callable] | None = None, add_generation_prompt: bool = False, continue_final_message: bool = False, tokenize: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool = False, max_length: int | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, return_dict: bool = True, reasoning_effort: ReasoningEffort | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1038)

**매개변수:**

conversation (Union[List[Dict[str, str]], List[List[Dict[str, str]]]]) : "role" 및 "content" 키를 가진 딕셔너리의 목록으로, 지금까지의 채팅 히스토리를 나타냅니다.

tools (`List[Union[Dict, Callable]]`, *선택*) : 모델이 접근할 수 있는 도구(호출 가능한 함수) 목록입니다. 템플릿이 함수 호출을 지원하지 않으면 이 인수는 효과가 없습니다. 각 도구는 JSON Schema로 전달해야 하며, 도구의 이름, 설명 및 인자 유형을 지정합니다. 자세한 내용은 [채팅 템플릿 가이드](https://huggingface.co/docs/transformers/main/en/chat_templating#automated-function-conversion-for-tool-use)를 참조하세요.

add_generation_prompt (`bool`, *선택 사항*) : 이 인수는 `MistralCommonBackend`에 대해 아무 동작도 하지 않습니다. 그러나 API 일관성을 유지하기 위해 `continue_final_message`와 동시에 사용할 수 없습니다. 대화 중 하나라도 어시스턴트 메시지로 끝나면 오류가 발생합니다. 이러한 경우 대신 `continue_final_message`를 사용하세요.

continue_final_message (bool, *optional*) : 이 값이 설정되면 채팅은 마지막 메시지가 EOS 토큰 없이 열린 형태로 포맷팅됩니다. 모델은 새 메시지를 시작하는 대신 이 메시지를 계속 작성합니다. 이를 통해 모델 응답의 일부를 "prefill"할 수 있습니다. `add_generation_prompt`와 동시에 사용할 수 없습니다.

tokenize (`bool`, 기본값 `True`) : 출력을 토큰화할지 여부입니다. `False`인 경우 출력은 문자열이 됩니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 반환되는 시퀀스에 패딩을 적용할 전략을 선택합니다(모델의 패딩 방향 및 패딩 인덱스에 따라). 선택지는 다음과 같습니다. - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이만큼 패딩을 적용합니다(단일 시퀀스만 제공된 경우 패딩을 적용하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이만큼 패딩을 적용하거나, 해당 인수가 제공되지 않은 경우 모델이 허용하는 최대 입력 길이만큼 패딩을 적용합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩을 적용하지 않습니다(즉, 서로 다른 길이의 시퀀스로 구성된 배치로 출력할 수 있음).

truncation (`bool`, 기본값 `False`) : 최대 길이에 도달하면 시퀀스를 잘라낼지 여부입니다. tokenize가 `False`인 경우 효과가 없습니다.

max_length (`int`, *선택 사항*) : 패딩 또는 잘라내기(padding or truncation)에 사용할 최대 길이(토큰 단위). tokenize가 `False`인 경우 효과가 없습니다. 지정하지 않으면 토크나이저의 `max_length` 속성이 기본값으로 사용됩니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, 특정 프레임워크의 텐서를 반환합니다. tokenize가 `False`인 경우 효과가 없습니다. 허용되는 값은 다음과 같습니다: - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

return_dict (`bool`, 기본값 `False`) : 이름이 지정된 출력이 포함된 딕셔너리를 반환할지 여부입니다. tokenize가 `False`인 경우 효과가 없습니다. 대화 중 하나 이상이 이미지를 포함하는 경우, 해당 이미지의 픽셀 값은 `pixel_values` 키에, 이미지 크기는 `image_sizes` 키에 반환됩니다.

reasoning_effort (`ReasoningEffort`, *선택 사항*) : 추론을 지원하는 모델의 채팅 완료에 사용할 추론 노력 수준입니다. 가능한 값은 다음과 같습니다: - `ReasoningEffort.none`: 모델이 추론하지 않습니다. - `ReasoningEffort.high`: 모델이 추론 방식을 사용합니다. 지정하지 않으면 기본 추론 노력 수준이 사용됩니다.

kwargs (추가 키워드 인자, *선택 사항*) : mistral-common의 `ChatCompletionRequest.from_openai` 메서드에 전달되는 추가 인자입니다.

**반환값:** `Union[str, list[int], list[str], list[list[int]], BatchEncoding]`

지금까지의 토큰화된 채팅, 제어 토큰 포함. 이 출력은 `generate()`와 같은 메서드를 통해 또는 직접 모델에 전달할 수 있는 상태입니다.

`"role"`와 `"content"` 키를 가진 사전 목록을 토큰 ID 목록으로 변환합니다.

#### batch_decode[[transformers.MistralCommonBackend.batch_decode]]

```python
batch_decode(sequences: typing.Union[list[int], list[list[int]], numpy.ndarray, ForwardRef('torch.Tensor')], skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L512)

**매개변수:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : 토큰화된 입력 ID 목록. `__call__` 메서드를 사용하여 얻을 수 있습니다.

skip_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 디코딩 시 특수 토큰을 제거할지 여부.

clean_up_tokenization_spaces (`bool`, *선택 사항*) : 토큰화 공백을 정리할지 여부입니다. `None`인 경우 기본값으로 `self.clean_up_tokenization_spaces`를 사용합니다.

kwargs (추가 키워드 인수, *선택 사항*) : `MistralCommonBackend.batch_decode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[str]`

디코딩된 문장의 목록입니다.

decode를 호출하여 토큰 ID의 리스트로 된 리스트를 문자열의 리스트로 변환합니다.

이 메서드는 하위 호환성을 위해 제공됩니다. `decode` 메서드가 이제 배치 입력을 네이티브로 처리하므로 `batch_decode` 대신 `decode`를 직접 사용할 수 있습니다.

#### build_inputs_with_special_tokens[[transformers.MistralCommonBackend.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1284)

**매개변수:**

token_ids_0 (`list[int]`) : 특수 토큰이 추가될 ID 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 시그니처와 일치하도록 유지되는 None입니다.

**반환값:** `list[int]`

적절한 특수 토큰이 포함된 입력 ID 목록.

특수 토큰을 추가하여 시퀀스에서 모델 입력을 구성합니다.

이 메서드는 토크나이저의 `mode`에 따라 입력을 동적으로 구성합니다:
- `"test"`: seq0 [EOS]
- `"finetuning"`: [BOS] seq0

#### convert_added_tokens[[transformers.MistralCommonBackend.convert_added_tokens]]

```python
convert_added_tokens(obj: tokenizers.AddedToken | typing.Any, save: bool = False, add_type_field: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1704)

`MistralCommonBackend`는 설계상 `convert_added_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### 시퀀스에서 토큰 타입 ID 생성[[transformers.MistralCommonBackend.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1313)

**매개변수:**

token_ids_0 (`list[int]`) : ID 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 시그니처와 일치하도록 유지되는 None입니다.

**반환값:** `list[int]`

구성된 패턴에 따른 토큰 유형 ID입니다.

special tokens가 추가된 토큰 ID에서 0으로 구성된 마스크를 생성합니다.

Transformers의 구현과 일치하도록 유지되었습니다.

#### decode[[transformers.MistralCommonBackend.decode]]

```python
decode(token_ids: typing.Union[int, list[int], list[list[int]], numpy.ndarray, ForwardRef('torch.Tensor')], skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L475)

**매개변수:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : 토큰화된 입력 id의 단일 시퀀스 또는 배치(시퀀스 목록). `__call__` 메서드를 사용하여 얻을 수 있습니다.

skip_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 디코딩 시 특수 토큰을 제거할지 여부.

clean_up_tokenization_spaces (`bool`, *선택 사항*) : 토큰화 공백을 정리할지 여부입니다. `None`인 경우 기본값으로 `self.clean_up_tokenization_spaces`를 사용합니다.

kwargs (추가 키워드 인수, *선택 사항*) : `MistralCommonBackend.decode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `Union[str, list[str]]`

단일 시퀀스에 대한 디코딩된 문자열, 또는 시퀀스 배치에 대한 디코딩된 문자열 목록.

토크나이저와 어휘를 사용하여 문자열의 id 시퀀스를 변환하며, 특수 토큰 제거 및 토크나이제이션 공간 정리 옵션을 제공합니다.

#### encode[[transformers.MistralCommonBackend.encode]]

```python
encode(text: str | list[int], text_pair: None = None, add_special_tokens: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, verbose: bool = True, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L378)

**매개변수:**

text (`str` 또는 `list[int]`) : 인코딩할 첫 번째 시퀀스입니다. 이는 문자열 또는 정수 목록(토큰화된 문자열 ID)일 수 있습니다.

text_pair (`None`, *선택 사항*) : `MistralCommonBackend.encode`에서 지원하지 않습니다. `PreTrainedTokenizerBase.encode`의 시그니처와 일치하도록 유지되었습니다.

add_special_tokens (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스를 인코딩할 때 특수 토큰을 추가할지 여부입니다. 이는 입력 ID에 자동으로 추가되는 토큰을 정의하는 기반 `PretrainedTokenizerBase.build_inputs_with_special_tokens` 함수를 사용합니다. `bos` 또는 `eos` 토큰을 자동으로 추가하려는 경우 유용합니다. Tokenizer가 `finetuning` 모드로 로드되면 `bos`와 `eos`를 모두 추가합니다. 그렇지 않고 "test" 모드인 경우 `bos`만 추가합니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 패딩을 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이로 패딩합니다(단일 시퀀스만 제공된 경우 패딩하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이로 패딩하거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 패딩합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩하지 않음(즉, 서로 다른 길이의 시퀀스를 가진 배치를 출력할 수 있음).

truncation (`bool`, `str` 또는 [TruncationStrategy](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *optional*, 기본값 `False`) : 잘라내기(truncation)를 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `False` 또는 `'do_not_truncate'` (기본값): 잘라내지 않습니다(즉, 모델의 최대 허용 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다).

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

stride (`int`, *선택 사항*, 기본값 0) : `max_length`와 함께 숫자로 설정하면, `return_overflowing_tokens=True`일 때 반환되는 오버플로 토큰에는 잘림된 시퀀스로 반환되는 시퀀스의 끝부분에서 가져온 일부 토큰이 포함되어 잘림된 시퀀스와 오버플로 시퀀스 사이에 일부 중복이 제공됩니다. 이 인수의 값은 중복되는 토큰의 수를 정의합니다.

pad_to_multiple_of (`int`, *선택 사항*) : 설정 시 시퀀스를 제공된 값의 배수로 패딩합니다. `padding`이 활성화되어 있어야 합니다. 이는 Volta에서 `>= 7.5`의 컴퓨트 캐퍼빌리티를 가진 NVIDIA 하드웨어에서 Tensor Cores 사용을 활성화하는 데 특히 유용합니다.

padding_side (`str`, *선택 사항*) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, python 정수 목록 대신 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:  - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

- ****kwargs** : `MistralCommonBackend.encode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[int]`, `torch.Tensor`

텍스트의 토큰화 된 id입니다.

토크나이저와 어휘를 사용하여 문자열을 id(정수)의 시퀀스로 변환합니다.

#### from_pretrained[[transformers.MistralCommonBackend.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, *init_inputs, mode: str | ValidationMode = 'test', cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', model_max_length: int = 1000000000000000019884624838656, padding_side: str = 'left', truncation_side: str = 'right', model_input_names: list[str] | None = None, clean_up_tokenization_spaces: bool = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1437)

**매개변수:**

pretrained_model_name_or_path (`str` 또는 `os.PathLike`) : 다음 중 하나일 수 있습니다:  - huggingface.co의 모델 저장소에 호스팅된 사전 정의된 토크나이저의 *model id*인 문자열. - `MistralCommonBackend.tokenization_mistral_common.save_pretrained` 메서드를 사용하여 저장된 토크나이저 구성이 포함된 *디렉터리*의 경로, 예: `./my_model_directory/`.

mode (`Union[str, ValidationMode]`, *선택 사항*, 기본값은 `ValidationMode.test`) : `MistralTokenizer` 토크나이저의 검증 모드입니다. 가능한 값은 다음과 같습니다: - `"finetuning"` 또는 `ValidationMode.finetuning`: 파인튜닝 모드입니다. - `"test"` 또는 `ValidationMode.test`: 테스트 모드입니다. 이는 토크나이저가 입력을 검증하고 모델에 요청을 준비하는 방식을 변경합니다.

cache_dir (`str` 또는 `os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 정의된 토크나이저 어휘 파일이 캐시될 디렉터리의 경로입니다.

force_download (`bool`, *선택 사항*, 기본값 `False`) : 어휘 파일의 (재)다운로드를 강제하고, 캐시된 버전이 존재하는 경우 이를 덮어쓸지 여부.

token (`str` 또는 *bool*, *선택*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `hf auth login` 실행 시 생성된 토큰(`~/.huggingface`에 저장됨)을 사용합니다.

local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 파일에만 의존하고 파일을 다운로드하지 않도록 할지 여부.

revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. huggingface.co에서 모델 및 기타 아티팩트를 저장하기 위해 git 기반 시스템을 사용하므로, `revision`은 git에서 허용하는 모든 식별자, 즉 브랜치 이름, 태그 이름 또는 커밋 ID가 될 수 있습니다.

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

padding_side (`str`, *선택 사항*, 기본값 `"left"`) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

truncation_side (`str`, *선택 사항*, 기본값 `"right"`) : 모델에 잘림을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다.

model_input_names (`List[str]`, *선택 사항*) : 모델의 forward pass가 받는 입력 목록(예: `"token_type_ids"` 또는 `"attention_mask"`). 기본값은 동일한 이름의 클래스 속성에서 선택됩니다.

clean_up_tokenization_spaces (`bool`, *선택 사항*, 기본값 `False`) : 토큰화 과정에서 입력 텍스트를 분할할 때 추가된 공백을 모델이 정리할지 여부입니다.

kwargs (추가 키워드 인자, *선택 사항*) : `MistralCommonBackend.from_pretrained`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

`MistralCommonBackend`를 사전 정의된 토크나이저에서 인스턴스화합니다.

#### get_chat_template[[transformers.MistralCommonBackend.get_chat_template]]

```python
get_chat_template(chat_template: str | None = None, tools: list[dict] | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1713)

`MistralCommonBackend`는 `mistral-common`이 채팅 템플릿을 사용하지 않기 때문에 `get_chat_template`을 구현하지 않도록 설계되어 있습니다.

#### get_special_tokens_mask[[transformers.MistralCommonBackend.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: None = None, already_has_special_tokens: bool = False)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L691)

**매개변수:**

token_ids_0 (`list[int]`) : 시퀀스의 id 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 구현과 일치하도록 유지되는 None입니다.

already_has_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 토큰 목록이 이미 모델의 특수 토큰으로 포맷되어 있는지 여부.

**반환값:** [0, 1] 범위의 정수 목록

특수 토큰은 1, 시퀀스 토큰은 0입니다.

특별 토큰이 추가되지 않은 토큰 목록에서 시퀀스 ID를 가져옵니다. 이 메서드는 토크나이저의 `prepare_for_model` 또는 `encode_plus` 메서드를 사용하여 특별 토큰을 추가할 때 호출됩니다.

#### get_vocab[[transformers.MistralCommonBackend.get_vocab]]

```python
get_vocab()
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L352)

**반환값:** `Dict[str, int]`

어휘

토큰에서 인덱스로 매핑된 사전 형식으로 어휘를 반환합니다.

이것은 손실 변환입니다. 부분적인 UTF-8 바이트 시퀀스가 �으로 변환되기 때문에, 동일한 문자열로 디코딩되는 여러 토큰 ID가 있을 수 있습니다.

#### num_special_tokens_to_add[[transformers.MistralCommonBackend.num_special_tokens_to_add]]

```python
num_special_tokens_to_add(pair: typing.Literal[False] = False)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1337)

**매개변수:**

pair (`Literal[False]`, *선택*) : False, Transformer의 시그니처와 일치하도록 유지됩니다.

**반환값:** `int`

시퀀스에 추가되는 특수 토큰의 수.

특수 토큰을 사용하여 시퀀스를 인코딩할 때 추가된 토큰의 수를 반환합니다.

이 코드는 더미 입력을 인코딩하고 추가된 토큰의 수를 확인하므로 효율적이지 않습니다. 학습 루프 안에 이 코드를 배치하지 마세요.

#### prepare_for_model[[transformers.MistralCommonBackend.prepare_for_model]]

```python
prepare_for_model(ids: list[int], pair_ids: None = None, add_special_tokens: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_length: bool = False, verbose: bool = True, prepend_batch_axis: bool = False, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L844)

**매개변수:**

ids (`list[int]`) : 첫 번째 시퀀스의 토큰화된 입력 ID.

pair_ids (`None`, *선택 사항*) : `MistralCommonBackend`에서 지원하지 않습니다. `PreTrainedTokenizerBase`의 인터페이스와 일치하도록 유지되었습니다.

add_special_tokens (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스를 인코딩할 때 특수 토큰을 추가할지 여부입니다. 이는 입력 ID에 자동으로 추가되는 토큰을 정의하는 기반 `PretrainedTokenizerBase.build_inputs_with_special_tokens` 함수를 사용합니다. `bos` 또는 `eos` 토큰을 자동으로 추가하려는 경우 유용합니다. Tokenizer가 `finetuning` 모드로 로드되면 `bos`와 `eos`를 모두 추가합니다. 그렇지 않고 "test" 모드인 경우 `bos`만 추가합니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 패딩을 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이로 패딩합니다(단일 시퀀스만 제공된 경우 패딩하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이로 패딩하거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 패딩합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩하지 않음(즉, 서로 다른 길이의 시퀀스를 가진 배치를 출력할 수 있음).

truncation (`bool`, `str` 또는 [TruncationStrategy](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *optional*, 기본값 `False`) : 잘라내기(truncation)를 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `False` 또는 `'do_not_truncate'` (기본값): 잘라내지 않습니다(즉, 모델의 최대 허용 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다).

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

stride (`int`, *선택 사항*, 기본값 0) : `max_length`와 함께 숫자로 설정하면, `return_overflowing_tokens=True`일 때 반환되는 오버플로 토큰에는 잘림된 시퀀스로 반환되는 시퀀스의 끝부분에서 가져온 일부 토큰이 포함되어 잘림된 시퀀스와 오버플로 시퀀스 사이에 일부 중복이 제공됩니다. 이 인수의 값은 중복되는 토큰의 수를 정의합니다.

pad_to_multiple_of (`int`, *선택 사항*) : 설정 시 시퀀스를 제공된 값의 배수로 패딩합니다. `padding`이 활성화되어 있어야 합니다. 이는 Volta에서 `>= 7.5`의 컴퓨트 캐퍼빌리티를 가진 NVIDIA 하드웨어에서 Tensor Cores 사용을 활성화하는 데 특히 유용합니다.

padding_side (`str`, *선택 사항*) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, python 정수 목록 대신 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:  - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

return_token_type_ids (`bool`, *선택 사항*) : 토큰 유형 ID를 반환할지 여부입니다. `MistralCommonBackend`의 경우 단일 시퀀스만 지원되므로 시퀀스 길이에 해당하는 0의 목록을 반환합니다. [토큰 유형 ID란 무엇인가요?](../glossary#token-type-ids)

return_attention_mask (`bool`, *선택 사항*) : attention mask를 반환할지 여부입니다. 기본값으로 두면, `return_outputs` 속성으로 정의된 해당 tokenizer의 기본값에 따라 attention mask를 반환합니다. [attention mask란 무엇인가요?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *선택 사항*, 기본값 `False`) : 넘친 토큰 시퀀스를 반환할지 여부입니다. 입력 ID의 시퀀스 쌍(또는 쌍의 배치)이 `truncation_strategy = longest_first` 또는 `True`와 함께 제공되면, 넘친 토큰을 반환하는 대신 오류가 발생합니다.

return_special_tokens_mask (`bool`, *선택 사항*, 기본값 `False`) : 특수 토큰 마스크 정보를 반환할지 여부.

return_length (`bool`, *선택 사항*, 기본값 `False`) : 인코딩된 입력의 길이를 반환할지 여부.

verbose (`bool`, *선택 사항*, 기본값 `True`) : 추가 정보와 경고를 출력할지 여부.

return_offsets_mapping (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

split_special_tokens (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

- ****kwargs** : `self.tokenize()` 메서드에 전달됩니다

**반환값:** [BatchEncoding](/docs/transformers/v5.23.0/ko/main_classes/tokenizer#transformers.BatchEncoding)

다음 필드를 가진 [BatchEncoding](/docs/transformers/v5.23.0/ko/main_classes/tokenizer#transformers.BatchEncoding):

- **input_ids** -- 모델에 입력할 토큰 ID 목록.

  [입력 ID란 무엇인가요?](../glossary#input-ids)

- **attention_mask** -- 모델이 어떤 토큰에 주의를 기울여야 하는지 지정하는 인덱스 목록(`return_attention_mask=True`인 경우 또는 `self.model_input_names`에 *"attention_mask"*가 포함된 경우).

  [어텐션 마스크란 무엇인가요?](../glossary#attention-mask)

- **overflowing_tokens** -- 넘친 토큰 시퀀스 목록(`max_length`이 지정되고 `return_overflowing_tokens=True`인 경우).
- **num_truncated_tokens** -- 잘림된 토큰의 개수(`max_length`가 지정되고 `return_overflowing_tokens=True`인 경우).
- **special_tokens_mask** -- 0과 1의 목록으로, 1은 추가된 특수 토큰을, 0은 일반 시퀀스 토큰을 나타냅니다(`add_special_tokens=True`이고 `return_special_tokens_mask=True`인 경우).
- **length** -- 입력의 길이 (`return_length=True`인 경우)

모델에서 사용할 수 있도록 입력 id 시퀀스를 준비합니다. 특수 토큰을 추가하고, 특수 토큰을 고려하여 시퀀스가 오버플로우되는 경우 이를 잘라내며, 오버플로우된 토큰에 대해 이동 창(사용자가 정의한 스트라이드)을 관리합니다.

#### save_chat_templates[[transformers.MistralCommonBackend.save_chat_templates]]

```python
save_chat_templates(save_directory: str | os.PathLike, tokenizer_config: dict, filename_prefix: str | None, save_jinja_files: bool)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1718)

`MistralCommonBackend`는 `mistral-common`이 채팅 템플릿을 사용하지 않기 때문에, 설계상 `save_chat_templates`를 구현하지 않습니다.

#### save_pretrained[[transformers.MistralCommonBackend.save_pretrained]]

```python
save_pretrained(save_directory: str | os.PathLike | pathlib.Path, push_to_hub: bool = False, token: str | bool | None = None, commit_message: str | None = None, repo_id: str | None = None, private: bool | None = None, save_format: str | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1552)

**매개변수:**

save_directory (`str | os.PathLike | Path`) : 토크나이저가 저장될 디렉터리.

push_to_hub (`bool`, *선택 사항*, 기본값 `False`) : 저장 후 HF Hub에 푸시합니다.

token (`str` 또는 `bool`, *선택 사항*) : Hub 인증을 위한 토큰.

commit_message (`str`, *선택 사항*) : push할 때 사용할 커밋 메시지입니다.

repo_id (`str`, *선택 사항*) : Hub 저장소 ID.

private (`bool`, *선택 사항*) : 저장소가 비공개인지 여부.

save_format (`str`, *선택 사항*) : 네이티브 tekken 형식으로 저장하려면 `"mistral"`, HuggingFace 형식으로 저장하려면 `"hf"`를 사용합니다. *None*은 원래 형식을 유지합니다.

kwargs (`dict`, *선택 사항*) : 지원되지 않음 — 오류가 발생합니다.

**반환값:** `tuple[str, ...]`

저장된 파일의 경로.

토크나이저의 전체 상태를 저장합니다.

`save_format`이 `"mistral"`인 경우(또는 tekken 토크나이저의 경우 *None*인 경우), 원래의 토크나이저 파일(예: `tekken.json`)이 *save_directory*에 기록됩니다. `save_format`이 `"hf"`인 경우, 대신 HF 형식 파일(`tokenizer.json` + `tokenizer_config.json`)이 생성됩니다.

#### save_vocabulary[[transformers.MistralCommonBackend.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L1729)

`MistralCommonBackend`는 설계상 `save_vocabulary`를 구현하지 않습니다.

`mistral-common`는 하나의 토크나이저 파일로 구성되기 때문입니다. 어휘를 저장하려면 `save_pretrained` 메서드를 사용하는 것을 권장합니다.

#### tokenize[[transformers.MistralCommonBackend.tokenize]]

```python
tokenize(text: str, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L645)

**매개변수:**

text (`str`) : 인코딩할 시퀀스.

return_offsets_mapping (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

split_special_tokens (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

- ****kwargs** (추가 키워드 인자): `MistralCommonBackend.tokenize`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[str]`

토큰 목록

토크나이저를 사용하여 문자열을 토큰 시퀀스로 변환합니다.

단어 기반 어휘의 경우 단위로, 서브워드 기반 어휘의 경우 서브단위로 분할합니다.

#### truncate_sequences[[transformers.MistralCommonBackend.truncate_sequences]]

```python
truncate_sequences(ids: list[int], pair_ids: None = None, num_tokens_to_remove: int = 0, truncation_strategy: str | transformers.tokenization_utils_base.TruncationStrategy = 'longest_first', stride: int = 0, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_mistral_common.py#L974)

**매개변수:**

ids (`list[int]`) : 토큰화된 입력 ID. 문자열에서 `tokenize`와 `convert_tokens_to_ids` 메서드를 체이닝하여 얻을 수 있습니다.

pair_ids (`None`, *선택 사항*) : `MistralCommonBackend`에서 지원하지 않습니다. `PreTrainedTokenizerBase.truncate_sequences`의 시그니처와 일치하도록 유지되었습니다.

num_tokens_to_remove (`int`, *선택 사항*, 기본값 0) : truncation 전략을 사용하여 제거할 토큰 수.

truncation_strategy (`str` 또는 [TruncationStrategy](/docs/transformers/v5.23.0/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *선택*, 기본값 `'longest_first'`) : 잘라내기(truncation)에 사용할 전략입니다. 다음 값 중 하나를 사용할 수 있습니다. - `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `'do_not_truncate'` (기본값): 잘라내지 않습니다. (즉, 모델이 허용하는 최대 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다.)

stride (`int`, *선택 사항*, 기본값 0) : 양의 정수로 설정하면, 반환되는 오버플로 토큰에 반환되는 메인 시퀀스의 일부 토큰이 포함됩니다. 이 인수의 값은 추가 토큰의 수를 정의합니다.

**반환값:** `Tuple[list[int], None, list[int]]`

잘린 `ids`와 넘친 토큰 목록입니다. Transformers의 시그니처와 일치하도록 `None`이 반환됩니다.

전략에 따라 시퀀스 쌍을 인플레이스로 잘라냅니다.

## PixtralVisionModel[[transformers.PixtralVisionModel]]

#### transformers.PixtralVisionModel[[transformers.PixtralVisionModel]]

```python
transformers.PixtralVisionModel(config: PixtralVisionConfig)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/modeling_pixtral.py#L379)

**매개변수:**

config ([PixtralVisionConfig](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralVisionConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

특정 헤드가 위에 없는 상태에서 원시 hidden-states를 출력하는 순수한 Pixtral Model입니다.

이 모델은 [PreTrainedModel](/docs/transformers/v5.23.0/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.PixtralVisionModel.forward]]

```python
forward(pixel_values: Tensor, image_sizes: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/modeling_pixtral.py#L402)

**매개변수:**

pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [PixtralImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [PixtralImageProcessor.__call__()](/docs/transformers/v5.23.0/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 ([PixtralProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralProcessor)는 이미지 처리에 [PixtralImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralImageProcessor)를 사용합니다).

image_sizes (`torch.Tensor`, shape `(batch_size, 2)`, *선택 사항*) : 배치 내 각 이미지의 크기입니다. 각 이미지에 대해 (height, width) 형식입니다.

**반환값:** [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `tuple(torch.Tensor)`

구성([PixtralVisionConfig](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralVisionConfig))과 입력에 따라 다양한 요소를 포함하는 [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ko/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[PixtralVisionModel](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralVisionModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **pooler_output** (`torch.Tensor`, shape `(batch_size, hidden_size)`) -- 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 보조 사전학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 값입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전학습 단계에서 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

## PixtralImageProcessor[[transformers.PixtralImageProcessor]]

#### transformers.PixtralImageProcessor[[transformers.PixtralImageProcessor]]

```python
transformers.PixtralImageProcessor(**kwargs: *<class 'transformers.models.pixtral.image_processing_pixtral.PixtralImageProcessorKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/image_processing_pixtral.py#L99)

**매개변수:**

do_convert_rgb (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 RGB로 변환할지 여부.

do_resize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 리사이즈할지 여부.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'longest_edge' : 1024}`): 모델에 입력되는 최대 차원을 설명합니다.

default_to_square (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : size가 int인 경우 리사이즈 시 정사각형 이미지로 설정할지 여부.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, 기본값 `3`) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_rescale (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 다시 스케일링할지 여부.

rescale_factor (`float`, *kwargs*, *선택 사항*, 기본값 `0.00392156862745098`) : `do_rescale`이 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다.

do_normalize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 정규화할지 여부.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.48145466, 0.4578275, 0.40821073]`) : 정규화에 사용할 이미지 평균입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.26862954, 0.26130258, 0.27577711]`) : 정규화에 사용할 이미지 표준 편차입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_pad (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다.

do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지.

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다.

disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다.

image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다.

patch_size (`Union[dict[str, *kwargs*, int], int]` *선택 사항*, 기본값은 `{"height" : 16, "width": 16}`): 모델에서 패치의 크기이며, 출력 이미지 크기를 계산하는 데 사용됩니다.

PixtralImageProcessor 이미지 프로세서를 생성합니다.

#### preprocess[[transformers.PixtralImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], **kwargs: *<class 'transformers.models.pixtral.image_processing_pixtral.PixtralImageProcessorKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/image_processing_pixtral.py#L118)

**매개변수:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 전처리할 이미지. 픽셀 값이 0에서 255 범위로 이루어진 단일 이미지 또는 배치 이미지를 기대합니다. 픽셀 값이 0에서 1 범위로 이루어진 이미지를 전달하는 경우 `do_rescale=False`로 설정하세요.

do_convert_rgb (`bool`, *kwargs*, *선택*) : 이미지를 RGB로 변환할지 여부.

do_resize (`bool`, *kwargs*, *선택*) : 이미지를 리사이즈할지 여부.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 모델의 최대 입력 차원을 설명합니다.

default_to_square (`bool`, *kwargs*, *선택*) : size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_rescale (`bool`, *kwargs*, *선택*) : 이미지를 다시 스케일링할지 여부.

rescale_factor (`float`, *kwargs*, *선택*) : `do_rescale`가 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다.

do_normalize (`bool`, *kwargs*, *선택*) : 이미지를 정규화할지 여부.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 평균값. `do_normalize`이 `True`로 설정된 경우에만 효과가 있습니다.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 표준 편차. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다.

do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지.

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다.

disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다.

image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다.

patch_size (`Union[dict[str, *kwargs*, int], int]` *선택 사항*, 기본값은 `{"height" : 16, "width": 16}`): 모델에서 패치의 크기이며, 출력 이미지 크기를 계산하는 데 사용됩니다.

**반환값:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- __call__ 메서드가 반환하는 리스트/배열/텐서 딕셔너리('pixel_values' 등).
- **tensor_type** (`Union[None, str, TensorType]`, *선택 사항*) -- 초기화 시 PyTorch/Numpy 텐서에서 정수 목록을 변환하려면 여기에 tensor_type을 지정할 수 있습니다.

## PixtralImageProcessorPil[[transformers.PixtralImageProcessorPil]]

#### transformers.PixtralImageProcessorPil[[transformers.PixtralImageProcessorPil]]

```python
transformers.PixtralImageProcessorPil(**kwargs: *<class 'transformers.models.pixtral.image_processing_pil_pixtral.PixtralImageProcessorKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/image_processing_pil_pixtral.py#L107)

**매개변수:**

do_convert_rgb (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 RGB로 변환할지 여부.

do_resize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 리사이즈할지 여부.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'longest_edge' : 1024}`): 모델에 입력되는 최대 차원을 설명합니다.

default_to_square (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : size가 int인 경우 리사이즈 시 정사각형 이미지로 설정할지 여부.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, 기본값 `3`) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_rescale (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 다시 스케일링할지 여부.

rescale_factor (`float`, *kwargs*, *선택 사항*, 기본값 `0.00392156862745098`) : `do_rescale`이 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다.

do_normalize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 정규화할지 여부.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.48145466, 0.4578275, 0.40821073]`) : 정규화에 사용할 이미지 평균입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.26862954, 0.26130258, 0.27577711]`) : 정규화에 사용할 이미지 표준 편차입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_pad (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다.

do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지.

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다.

disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다.

image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다.

patch_size (`Union[dict[str, *kwargs*, int], int]` *선택 사항*, 기본값은 `{"height" : 16, "width": 16}`): 모델에서 패치의 크기이며, 출력 이미지 크기를 계산하는 데 사용됩니다.

PixtralImageProcessor 이미지 프로세서를 생성합니다.

#### preprocess[[transformers.PixtralImageProcessorPil.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], **kwargs: *<class 'transformers.models.pixtral.image_processing_pil_pixtral.PixtralImageProcessorKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/image_processing_pil_pixtral.py#L126)

**매개변수:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 전처리할 이미지. 픽셀 값이 0에서 255 범위로 이루어진 단일 이미지 또는 배치 이미지를 기대합니다. 픽셀 값이 0에서 1 범위로 이루어진 이미지를 전달하는 경우 `do_rescale=False`로 설정하세요.

do_convert_rgb (`bool`, *kwargs*, *선택*) : 이미지를 RGB로 변환할지 여부.

do_resize (`bool`, *kwargs*, *선택*) : 이미지를 리사이즈할지 여부.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 모델의 최대 입력 차원을 설명합니다.

default_to_square (`bool`, *kwargs*, *선택*) : size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_rescale (`bool`, *kwargs*, *선택*) : 이미지를 다시 스케일링할지 여부.

rescale_factor (`float`, *kwargs*, *선택*) : `do_rescale`가 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다.

do_normalize (`bool`, *kwargs*, *선택*) : 이미지를 정규화할지 여부.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 평균값. `do_normalize`이 `True`로 설정된 경우에만 효과가 있습니다.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 표준 편차. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다.

do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다.

do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지.

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다.

disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다.

image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다.

patch_size (`Union[dict[str, *kwargs*, int], int]` *선택 사항*, 기본값은 `{"height" : 16, "width": 16}`): 모델에서 패치의 크기이며, 출력 이미지 크기를 계산하는 데 사용됩니다.

**반환값:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- __call__ 메서드가 반환하는 리스트/배열/텐서 딕셔너리('pixel_values' 등).
- **tensor_type** (`Union[None, str, TensorType]`, *선택 사항*) -- 초기화 시 PyTorch/Numpy 텐서에서 정수 목록을 변환하려면 여기에 tensor_type을 지정할 수 있습니다.

## PixtralProcessor[[transformers.PixtralProcessor]]

#### transformers.PixtralProcessor[[transformers.PixtralProcessor]]

```python
transformers.PixtralProcessor(image_processor = None, tokenizer = None, patch_size: int = 16, spatial_merge_size: int = 1, chat_template = None, image_token = '[IMG]', image_break_token = '[IMG_BREAK]', image_end_token = '[IMG_END]', **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pixtral/processing_pixtral.py#L39)

**매개변수:**

image_processor (`PixtralImageProcessor`) : 이미지 프로세서가 필수 입력입니다.

tokenizer (`MistralCommonBackend`) : 토크나이저는 필수 입력입니다.

patch_size (`int`, *선택 사항*, 기본값 16) : 비전 타워의 패치 크기.

spatial_merge_size (`int`, *선택 사항*, 기본값 1) : 공간 병합 연산에 사용되는 다운샘플링 계수입니다.

chat_template (`str`) : 채팅의 메시지 목록을 토큰화 가능한 문자열로 변환하는 Jinja 템플릿입니다.

image_token (`str`, *선택 사항*, 기본값 `"[IMG]"`) : 이미지 위치를 나타내는 데 사용되는 특수 토큰.

image_break_token (`str`, *선택 사항*, 기본값 `"[IMG_BREAK]"`) : 이미지에서 픽셀 행의 끝을 나타내는 데 사용되는 특수 토큰.

image_end_token (`str`, *선택 사항*, 기본값 `"[IMG_END]"`) : 이미지 입력의 끝을 나타내는 데 사용되는 특수 토큰.

이미지 프로세서와 토크나이저를 단일 프로세서로 감싸는 PixtralProcessor를 생성합니다.

[PixtralProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralProcessor)는 [PixtralImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralImageProcessor)와 [MistralCommonBackend](/docs/transformers/v5.23.0/ko/model_doc/mistral#transformers.MistralCommonBackend)의 모든 기능을 제공합니다. 자세한 내용은 [~PixtralImageProcessor](/docs/transformers/v5.23.0/ko/model_doc/pixtral#transformers.PixtralImageProcessor)와 [~MistralCommonBackend](/docs/transformers/v5.23.0/ko/model_doc/mistral#transformers.MistralCommonBackend)를 참고하세요.

#### __call__[[transformers.PixtralProcessor.__call__]]

```python
__call__(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, text: str | list[str] | list[list[str]] | None = None, videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L670)

**매개변수:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *선택*) : 전처리할 이미지. 픽셀 값이 0에서 255 범위로 이루어진 단일 이미지 또는 배치 이미지를 기대합니다. 픽셀 값이 0에서 1 범위로 이루어진 이미지를 전달하는 경우 `do_rescale=False`로 설정하세요.

text (`Union[str, list[str], list[list[str]]]`, *선택*) : 인코딩할 시퀀스 또는 시퀀스 배치입니다. 각 시퀀스는 문자열 또는 문자열 목록(사전 토큰화된 문자열)일 수 있습니다. 사전 토큰화된 입력을 전달하는 경우, 배치 입력과의 혼동을 피하기 위해 `is_split_into_words=True`를 설정하세요.

videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`, *선택*) : 전처리할 비디오입니다. 픽셀 값이 0에서 255 범위를 가지는 단일 비디오 또는 비디오 배치(batch)를 기대합니다. 픽셀 값이 0에서 1 범위를 가지는 비디오를 전달하는 경우 `do_rescale=False`로 설정하세요.

audio (`Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]`, *선택 사항*) : 준비할 오디오 또는 오디오 배치입니다. 각 오디오는 NumPy 배열 또는 PyTorch 텐서일 수 있습니다. NumPy 배열/PyTorch 텐서의 경우, 각 오디오의 shape은 (C, T)여야 하며, 여기서 C는 채널 수, T는 오디오의 샘플 길이입니다.

return_mm_token_type_ids (`bool`, *kwargs*) : 멀티모달 플레이스홀더 토큰의 위치를 나타내는 멀티모달 토큰 타입 ID를 반환할지 여부.

return_text_replacement_offsets (`bool`, *kwargs*) : 각 멀티모달 플레이스홀더 및 그 대체 문자열의 문자 오프셋을 반환할지 여부.

return_tensors (`str` 또는 [TensorType](/docs/transformers/v5.23.0/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, 특정 프레임워크의 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:  - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다. - `'np'`: NumPy `np.ndarray` 객체를 반환합니다.

- ****kwargs** ([ProcessingKwargs](/docs/transformers/v5.23.0/ko/main_classes/processors#transformers.ProcessingKwargs), *optional*) : 각 모달리티(텍스트, 이미지, 비디오, 오디오)에 대한 추가 처리 옵션입니다. 모델별 매개변수는 위에 나열되어 있으며, 지원되는 인수의 전체 목록은 TypedDict 클래스를 참조하세요.

