# xLSTM

## 概述

xLSTM 模型由 Maximilian Beck*、Korbinian Pöppel*、Markus Spanring、Andreas Auer、Oleksandra Prudnikova、Michael Kopp、Günter Klambauer、Johannes Brandstetter 和 Sepp Hochreiter 在 [xLSTM: Extended Long Short-Term Memory](https://huggingface.co/papers/2405.04517) 中提出。xLSTM 通过引入指数门控、矩阵记忆扩展以及可并行化的训练和摄取，对原始 LSTM 架构进行了更新，使其能够与 Transformer 模型相竞争。

[7B 模型](https://huggingface.co/NX-AI/xLSTM-7b)变体由 NXAI 的 xLSTM 团队训练，团队成员包括 Maximilian Beck、Korbinian Pöppel、Phillip Lippe、Richard Kurle、Patrick Blies、Sebastian Böck 和 Sepp Hochreiter。

该论文的摘要如下：

*20 世纪 90 年代，恒定误差传送带（constant error carousel）和门控机制被提出，成为长短期记忆网络（LSTM）的核心思想。自那以后，LSTM 经受住了时间的考验，为众多深度学习成功案例做出了贡献，尤其是它们构成了首批大语言模型（LLM）。然而，以可并行化的自注意力机制为核心的 Transformer 技术的出现标志着一个新纪元的开端，在大规模场景下超越了 LSTM。现在我们提出一个简单的问题：当我们将 LSTM 扩展到数十亿参数规模，并借助现代 LLM 的最新技术，同时缓解 LSTM 的已知局限性时，在语言建模方面能走多远？首先，我们引入了带有适当归一化和稳定化技术的指数门控。其次，我们修改了 LSTM 的记忆结构，从而得到：(i) sLSTM，具有标量记忆、标量更新和新的记忆混合机制；(ii) mLSTM，具有矩阵记忆和协方差更新规则，且可完全并行化。将这些 LSTM 扩展集成到残差块骨干网络中，便得到了 xLSTM 块，随后通过残差堆叠形成 xLSTM 架构。指数门控和修改后的记忆结构提升了 xLSTM 的能力，使其在性能和扩展性方面与最先进的 Transformer 和状态空间模型相比均表现良好。*

该模型由 [NX-AI](https://huggingface.co/NX-AI) 贡献。原始代码可在[此处](https://github.com/NX-AI/xlstm)找到。

## 备注

- 在批量生成时使用左侧填充。请参阅 [填充侧](../llm_tutorial#padding-side)。

## xLSTMConfig[[transformers.xLSTMConfig]]

#### transformers.xLSTMConfig[[transformers.xLSTMConfig]]

```python
transformers.xLSTMConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 50304, hidden_size: int = 4096, embedding_dim: int | None = None, num_hidden_layers: int = 32, num_blocks: int | None = None, num_heads: int = 8, use_bias: bool = False, norm_reduction_force_float32: bool = True, tie_word_embeddings: bool = False, add_out_norm: bool = True, norm_eps: float = 1e-06, qk_dim_factor: float = 0.5, v_dim_factor: float = 1.0, chunkwise_kernel: typing.Literal['chunkwise--native_autograd', 'parallel--native_autograd'] = 'chunkwise--native_autograd', sequence_kernel: typing.Literal['native_sequence__native'] = 'native_sequence__native', step_kernel: typing.Literal['native'] = 'native', mode: typing.Literal['train', 'train_with_padding', 'inference'] = 'inference', chunk_size: int = 64, return_last_states: bool = True, autocast_kernel_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'bfloat16', eps: float = 1e-06, inference_state_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'float32', ffn_proj_factor: float = 2.667, ffn_round_up_to_multiple_of: int = 64, gate_soft_cap: float = 15.0, output_logit_soft_cap: float = 30.0, weight_mode: typing.Literal['single', 'fused'] = 'single', use_cache: bool = True, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, max_inference_chunksize: int = 16384)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/xlstm/configuration_xlstm.py#L58)

**参数：**

vocab_size (`int`，*可选*，默认为 `50304`)：模型的词汇表大小。定义了 `input_ids` 可以表示的不同 token 数量。

hidden_size (`int`，*可选*，默认为 `4096`)：隐藏表示的维度。

embedding_dim (`int`, *可选*) : 嵌入和隐藏状态的维度。

num_hidden_layers (`int`，*可选*，默认为 `32`)：Transformer 解码器中的隐藏层数。

num_blocks (`int`，可选，*optional*，默认为 32)：xLSTM 模型的块数，如果为 None，则使用 num_hidden_layers。

num_heads (`int`，可选，*optional*，默认为 8)：xLSTM 层/单元的头数。

use_bias (`bool`，可选，*optional*，默认为 `False`)：是否在 xLSTM 模型中使用偏置。

norm_reduction_force_float32 (`bool`，可选，*optional*，默认为 `True`)：是否强制将 float32 归约操作以 fp32 精度执行。

tie_word_embeddings (`bool`，*可选*，默认为 `False`)：是否根据模型的 `tied_weights_keys` 映射来绑定权重嵌入。

add_out_norm (`bool`，可选，*optional*，默认为 `True`)：是否在 LMHead 之前的 blocks 之后添加输出归一化。

norm_eps (`float`, *可选*, 默认为 `1e-06`) : 层归一化层使用的 epsilon。

qk_dim_factor (`float`，可选，*optional*，默认值为 0.5)：查询和键维度的缩放因子。

v_dim_factor (`float`，可选，*optional*，默认值为 1.0)：值维度的缩放因子。

chunkwise_kernel (`ChunkwiseKernelType`，可选，*optional*，默认为 `"chunkwise--native_autograd"`)：分块处理模式的内核类型。

sequence_kernel (`SequenceKernelType`，可选，*optional*，默认为 `"native_sequence__native"`)：序列处理模式的内核类型。

step_kernel (`StepKernelType`，可选，*optional*，默认为 `"native"`)：步骤处理模式的内核类型。

mode (`BackendModeType`，可选，*optional*，默认为 `"inference"`)：操作模式（生成需要推理）。

chunk_size (`int`，可选，*optional*，默认为 64)：内部块大小。

return_last_states (`bool`，可选，*optional*，默认为 `True`)：是否返回内部最后的状态/缓存。生成时需要设置为 True。

autocast_kernel_dtype (`DtypeType`，可选，*optional*，默认为 `"bfloat16"`)：状态的 Kernel 数据类型。

eps (`float`, *可选*, 默认为 `1e-06`) : 层归一化层使用的 epsilon。

inference_state_dtype (`DtypeType`，可选，*optional*，默认为 `"float32"`)：推理时状态的 Kernel 数据类型。

ffn_proj_factor (`float`，可选，*optional*，默认为 2.667)：后上投影门控前馈网络的尺寸因子。

ffn_round_up_to_multiple_of (`int`，可选，*optional*，默认为 64)：后上投影门控前馈网络的尺寸因子取整值。

gate_soft_cap (`float`，可选，*optional*，默认值为 15.0)：门控软上限缩放因子。

output_logit_soft_cap (`float`，可选，*optional*，默认值为 30.0)：输出 logit 软上限的缩放系数。

weight_mode (`Literal`, *可选*，默认为 `"single"`)：并行线性层是分离的还是融合的（single）。

use_cache (`bool`，*可选*，默认为 `True`)：模型是否应返回最后的键/值注意力（并非所有模型都使用）。仅当 `config.is_decoder=True` 或模型为仅解码器生成模型时相关。

pad_token_id (`int`，*可选*，默认为 `1`)：词表中用于填充的 token id。

bos_token_id (`int`，*可选*，默认为 `0`)：词汇表中用于表示流开始的 token id。

eos_token_id (`Union[int, list[int]]`，*可选*，默认为 `2`)：词汇表中用于表示流结束（end-of-stream）的 token id。

max_inference_chunksize (`int`，可选，*optional*，默认为 16384)：限制推理时的块大小以节省内存。

这是用于存储 xLSTMModel 配置的类。它根据指定的参数实例化 Xlstm 模型，并定义模型架构。使用默认值实例化配置将生成与 [NX-AI/xLSTM-7b](https://huggingface.co/NX-AI/xLSTM-7b) 类似的配置。

配置对象继承自 [PreTrainedConfig](/docs/transformers/main/zh/main_classes/configuration#transformers.PreTrainedConfig)，可用于控制模型输出。有关更多信息，请参阅 [PreTrainedConfig](/docs/transformers/main/zh/main_classes/configuration#transformers.PreTrainedConfig) 的文档。

示例：

```python
>>> from transformers import xLSTMConfig, xLSTMModel

>>> # Initializing a xLSTM configuration
>>> configuration = xLSTMConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = xLSTMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## xLSTMModel[[transformers.xLSTMModel]]

#### transformers.xLSTMModel[[transformers.xLSTMModel]]

```python
transformers.xLSTMModel(config: xLSTMConfig)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/xlstm/modeling_xlstm.py#L1394)

**参数：**

config ([xLSTMConfig](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMConfig))：模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 [from_pretrained()](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel.from_pretrained) 方法以加载模型权重。

未添加任何特定头部的裸 Xlstm 模型，直接输出原始隐藏状态。

该模型继承自 [PreTrainedModel](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel)。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) 的子类。请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

#### forward[[transformers.xLSTMModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.LongTensor] = None, cache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/xlstm/modeling_xlstm.py#L1411)

**参数：**

input_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。可以使用 [AutoTokenizer](/docs/transformers/main/zh/model_doc/auto#transformers.AutoTokenizer) 获取索引。有关详细信息，请参阅 [PreTrainedTokenizer.encode()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 和 [PreTrainedTokenizer.__call__()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)。[什么是输入 ID？](../glossary#input-ids)

inputs_embeds (`torch.LongTensor`，形状为 `(batch_size, sequence_length, hidden_size)`，*可选*)：可选地，您可以选择直接传入嵌入表示，而不是传入 `input_ids`。如果您希望对将 `input_ids` 索引转换为相应向量的方式拥有比模型内部嵌入查找矩阵更多的控制权，这将非常有用。

cache_params (`xLSTMCache`, *可选*) : 承载 RNN 状态的 xLSTMCache。

use_cache (`bool`，*可选*)：如果设置为 `True`，则会返回 `past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。

**返回：** `xLSTMOutput` 或 `tuple(torch.Tensor)`

`xLSTMOutput` 或 `torch.Tensor` 元组（如果传入 `return_dict=False` 或 `config.return_dict=False`），其包含的元素取决于配置（[xLSTMConfig](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMConfig)）和输入。

[xLSTMModel](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMModel) 的 forward 方法重写了 `__call__` 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 `Module` 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者会静默地忽略这些步骤。

- **last_hidden_state**（形状为 `(batch_size, sequence_length, hidden_size)` 的 `torch.Tensor`，*可选*）-- 模型最后一层输出的隐藏状态序列。
- **cache_params** (`~models.xlstm.modeling_xlstm.xLSTMCache`, *可选*) -- 模型在最后一个时间步的状态。可与下一个 `input_ids` 一起用于前向方法中，从而避免提供旧的 `input_ids`。
- **hidden_states** (`tuple[torch.Tensor]`，*可选*，在传入 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) -- 一个 `torch.Tensor` 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每个层输出的一个张量），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

## xLSTMLMHeadModel[[transformers.xLSTMForCausalLM]]

#### transformers.xLSTMForCausalLM[[transformers.xLSTMForCausalLM]]

```python
transformers.xLSTMForCausalLM(config: xLSTMConfig)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/xlstm/modeling_xlstm.py#L1517)

**参数：**

config ([xLSTMConfig](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMConfig))：模型配置类，包含模型的所有参数。使用配置文件进行初始化时，不会加载与模型关联的权重，仅加载配置。请查看 [from_pretrained()](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel.from_pretrained) 方法以加载模型权重。

用于因果语言建模的 Xlstm 模型。

该模型继承自 [PreTrainedModel](/docs/transformers/main/zh/main_classes/model#transformers.PreTrainedModel)。请查阅父类文档，了解该库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、剪枝头等）。

该模型也是 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) 的子类。请将其作为常规的 PyTorch Module 使用，有关通用用法和行为的所有事项，请参阅 PyTorch 文档。

#### forward[[transformers.xLSTMForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, cache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[来源](https://github.com/huggingface/transformers/blob/main/src/transformers/models/xlstm/modeling_xlstm.py#L1537)

**参数：**

input_ids (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*)：输入序列中 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。可以使用 [AutoTokenizer](/docs/transformers/main/zh/model_doc/auto#transformers.AutoTokenizer) 获取索引。有关详细信息，请参阅 [PreTrainedTokenizer.encode()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 和 [PreTrainedTokenizer.__call__()](/docs/transformers/main/zh/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)。[什么是输入 ID？](../glossary#input-ids)

inputs_embeds (`torch.Tensor`，形状为 `(batch_size, sequence_length, hidden_size)`，*可选*)：可选地，你可以选择直接传入嵌入表示，而不是传入 `input_ids`。如果你希望比模型内部的嵌入查找矩阵更精细地控制如何将 `input_ids` 索引转换为对应的向量，这将非常有用。

cache_params (`xLSTMCache`, *可选*) : 承载 RNN 状态的 xLSTMCache。

labels (`torch.LongTensor`，形状为 `(batch_size, sequence_length)`，*可选*) : 用于计算因果语言建模损失的标签。索引应在 `[-100, 0, ..., config.vocab_size]` 范围内（参见 `input_ids` 的文档字符串）。索引设置为 `-100` 的 token 将被忽略（被掩码），损失仅针对标签在 `[0, ..., config.vocab_size]` 范围内的 token 进行计算。 标签会在**内部进行移位**，因此使用 `labels[..., 1:]` 来预测 `logits[..., :-1, :]`。请传入与 `input_ids` 匹配的未移位标签（即 `labels = input_ids`）。在传入之前，请**不要**自行对标签进行移位。 如果标签已经移位（例如在使用序列并行时），请将其作为 `shift_labels` 关键字参数传入，系统将按原样使用它们。 为了计算损失，仍然必须传入 `labels`。

use_cache (`bool`，*可选*)：如果设置为 `True`，则会返回 `past_key_values` 键值状态，可用于加速解码（参见 `past_key_values`）。

**返回：** `xLSTMCausalLMOutput` 或 `tuple(torch.Tensor)`

`xLSTMCausalLMOutput` 或 `torch.Tensor` 元组（如果传入 `return_dict=False` 或 `config.return_dict=False`），其包含的元素取决于配置（[xLSTMConfig](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMConfig)）和输入。

[xLSTMForCausalLM](/docs/transformers/main/zh/model_doc/xlstm#transformers.xLSTMForCausalLM) 的 forward 方法重写了 `__call__` 特殊方法。

尽管前向传播的实现需要在此函数中定义，但之后应调用 `Module` 实例，而不是直接调用此函数，因为前者会负责执行预处理和后处理步骤，而后者会静默地忽略这些步骤。

- **loss** (`torch.Tensor`，形状为 `(1,)`，*可选*，当提供 `labels` 时返回) -- 语言建模损失（用于下一个 token 预测）。
- **logits**（形状为 `(batch_size, sequence_length, config.vocab_size)` 的 `torch.Tensor`）-- 语言建模头的预测分数（SoftMax 之前每个词汇表 token 的分数）。
- **cache_params** (`xLSTMCache`，*可选*，承载 RNN 状态) -- 模型在最后一个时间步的状态。可与下一个 `input_ids` 一起用于前向方法中，从而避免提供旧的 `input_ids`。
- **hidden_states** (`tuple[torch.Tensor]`，*可选*，在传入 `output_hidden_states=True` 或 `config.output_hidden_states=True` 时返回) -- 一个 `torch.Tensor` 元组（如果模型具有嵌入层，则包含嵌入层输出的一个张量，以及每个层输出的一个张量），形状为 `(batch_size, sequence_length, hidden_size)`。

  模型在每一层输出处的隐藏状态，以及可选的初始嵌入输出。

示例：

```python
```