Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2026年8月9日にHugging Face Transformersに貢献されました。

MuseGlimmerAssistant

MuseGlimmerAssistant は MuseGlimmer 用の DFlash ドラフターです。単独の言語モデルではありません。5 つのスライディングウィンドウ層を持ち、独自の埋め込みは持っていません。メインモデルの入力および出力埋め込みを借用し、target_layer_ids（デフォルトでは 1、13、25、37、49 層）のメインモデルの隠れ状態をコンテキストとして読み取ります。

1トークンずつ生成するのではなく、drafterは拡散ウィンドウのように、block_sizeのマスクされたトークンからなるブロック全体を1回のフォワードパスでノイズ除去します。その後、メインモデルがそのブロックを1ステップで検証します。Metaは、RTX 5090上でデコーディングが3.1倍速く、Apple Mシリーズチップ上で1.5〜1.8倍速くなると報告しています。

generate() に assistant_model として drafter を渡し、speculation_type="dflash" を設定します。drafter は、メインモデルと同じ dtype で、同じデバイスにロードする必要があります。

from transformers import AutoProcessor, MuseGlimmerAssistantModel, MuseGlimmerForConditionalGeneration

processor = AutoProcessor.from_pretrained("meta-models/Muse-Glimmer-30B")
model = MuseGlimmerForConditionalGeneration.from_pretrained(
    "meta-models/Muse-Glimmer-30B",
    device_map="auto",
)
drafter = MuseGlimmerAssistantModel.from_pretrained(
    "meta-models/Muse-Glimmer-30B-assistant",
    device_map="auto",
)

messages = [
    {
        "role": "user",
        "content": [{"type": "text", "text": "Write a bash one-liner that counts lines of Python in a repo."}],
    },
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(
    **inputs,
    assistant_model=drafter,
    speculation_type="dflash",
    max_new_tokens=256,
)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
print(response)

注記

drafter はメインモデルの hidden states が必要であるため、speculation_type="dflash" の場合、generate はターゲットモデルに対して output_hidden_states=True を強制します。
詳細および使用例については、MetaがMuse Glimmerで帰ってきた：ローカル、エージェント型、マルチモーダル、そしてオープンソース！というブログ記事をご覧ください。

MuseGlimmerAssistantConfig

class transformers.MuseGlimmerAssistantConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 6656intermediate_size: int = 19968num_hidden_layers: int = 5num_attention_heads: int = 32num_key_value_heads: int = 8head_dim: int = 128rms_norm_eps: float = 1e-05rope_parameters: dict | None = Nonemax_position_embeddings: int = 131072sliding_window: int = 2048layer_types: list[str] | None = Noneattention_dropout: float | int = 0hidden_act: str = 'silu'bos_token_id: int | None = 200000eos_token_id: int | None = 200001pad_token_id: int | None = 200018block_size: int = 16mask_token_id: int = 201818target_layer_ids: list[int] | None = None )

パラメータ

hidden_size (int、任意、デフォルトは 6656) — 隠れ表現の次元数です。
intermediate_size (int、任意、デフォルトは 19968) — MLP 表現の次元数。
num_hidden_layers (int、任意、デフォルトは 5) — Transformer デコーダーの隠れ層の数。
num_attention_heads (int、任意、デフォルトは 32) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
num_key_value_heads (int、任意、デフォルトは8) — Grouped Query Attention の実装に使用する key_value ヘッドの数を指定します。 num_key_value_heads=num_attention_heads の場合、モデルは Multi Head Attention (MHA) を使用し、 num_key_value_heads=1 の場合は Multi Query Attention (MQA) を使用し、それ以外の場合は GQA が使用されます。マルチヘッドのチェックポイントを GQA のチェックポイントに変換する際は、各グループの key ヘッドと value ヘッドを、そのグループ内の元のすべてのヘッドの平均プーリングによって構築する必要があります。詳細については、この論文を参照してください。指定しない場合、デフォルトで num_attention_heads が使用されます。
head_dim (int、任意、デフォルトは128) — アテンションヘッドの次元です。None の場合、hidden_size // num_attention_heads がデフォルトとして使用されます。
rms_norm_eps (float、任意、デフォルト値は1e-05) — RMS正規化レイヤーで使用するepsilonです。
rope_parameters (dict, 任意) — RoPE 埋め込みの設定パラメータを含む辞書です。辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合、スケーリングに使用されるパラメータが任意で含まれます。
max_position_embeddings (int、任意、デフォルトは 131072) — このモデルが使用される可能性のある最大シーケンス長です。
sliding_window (int、任意、デフォルトは 2048) — スライディングウィンドウアテンションのウィンドウサイズ。None の場合、スライディングウィンドウは適用されません。
layer_types (list[str]、省略可) — 各レイヤーのインデックスとレイヤータイプを明示的に対応付けるリストです。指定しない場合、config の値に基づいて自動的に生成されます。
attention_dropout (Union[float, int]、任意、デフォルトは 0) — アテンション確率のドロップアウト率です。
hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
bos_token_id (int、任意、デフォルトは 200000) — 語彙におけるストリーム開始に使用されるトークン ID。
eos_token_id (int、任意、デフォルトは 200001) — 語彙におけるストリーム終了に使用されるトークン ID。
pad_token_id (int、任意、デフォルトは 200018) — 語彙内でパディングに使用されるトークン ID。
block_size (int, 任意) — ノイズ除去の対象となるノイズ入力のブロックサイズです。
mask_token_id (int, 任意) — モデルのノイズ付き入力として使用されるマスクトークンのID。
target_layer_ids (list[int]、省略可) — モデルのコンテキストとして連結される隠れ状態を持つ、ゼロインデックスのレイヤー ID のリスト。

これは MuseGlimmerAssistantModel の設定を保存するための設定クラスです。指定された引数に基づいて Muse Glimmer Assistant モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、meta-models/Muse-Glimmer-30B-assistant と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import MuseGlimmerAssistantConfig, MuseGlimmerAssistantModel

>>> # Initializing a Muse Glimmer Assistant config similar to `meta-models/Muse-Glimmer-30B-assistant`.
>>> configuration = MuseGlimmerAssistantConfig(text_config)

>>> # Initializing a model from the `meta-models/Muse-Glimmer-30B-assistant` configuration.
>>> model = MuseGlimmerAssistantModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

MuseGlimmerAssistantPreTrainedModel

クラス transformers.MuseGlimmerAssistantPreTrainedModel

< source >

( config: PreTrainedConfig*inputs**kwargs )

パラメータ

config (PreTrainedConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

MuseGlimmerAssistantModel

class transformers.MuseGlimmerAssistantModel

< source >

( config: MuseGlimmerAssistantConfig )

パラメータ

config (MuseGlimmerAssistantConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

裸の Muse Glimmer Assistant Modelは、特定のヘッドを上に載せずに生のhidden-statesを出力します。

forward

< source >

( noise_embeds: Tensorcontext_hidden_states: Tensorattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.DFlashCache | None = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPast or tuple(torch.Tensor)

パラメータ

noise_embeds (torch.Tensor、形状 [batch_size, config.block_size, dim]) — 最後の生成されたアンカートークンと、ノイズ除去対象のマスクトークンの入力埋め込み。
context_hidden_states (torch.Tensor、形状 [batch_size, number_of_previous_accepted_tokens, dim * len(config.target_layer_ids)]) — ターゲットモデルの選択された層 ID からのコンテキスト隠れ状態を、最後の次元で連結したものです。
attention_mask (torch.Tensor、shape [batch_size, number_of_previous_accepted_tokens + config.block_size]) — 通常の attention_mask と同様のものですが、number_of_previous_accepted_tokens + config.block_size の長さを持つ点にご注意ください。Attention はまず context_hidden_states と noise_embeds から導出された hidden states を連結するため、cache.update() の呼び出し以前であっても、k/v states の長さが q_states と一致しない場合があります。そのため、attention mask の kv_seq_len 次元は、追加の位置にまたがる必要があります。
position_ids (torch.Tensor、shape [batch_size, number_of_previous_accepted_tokens + config.block_size]) — 通常の position_ids と同様に扱いますが、number_of_previous_accepted_tokens + config.block_size の長さを持つ点にご注意ください。Attention はまず context_hidden_states と noise_embeds から導出された hidden states を連結するため、cache.update() の呼び出し以前から、k/v states の長さが q_states と一致しない場合があります。そのため、position_ids およびそこから導出される position_embeddings は、これらの追加の位置すべてにわたって定義される必要があります。
past_key_values (~cache_utils.DFlashCache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算済みの隠れ状態（自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー）。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。

戻り値

BaseModelOutputWithPast または tuple(torch.Tensor)

torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）または BaseModelOutputWithPast。設定（MuseGlimmerAssistantConfig）と入力に応じて、さまざまな要素で構成されます。

MuseGlimmerAssistantModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらは逐次デコーディングを高速化するために使用できます（past_key_values 入力参照）。
hidden_states (tuple(torch.Tensor)、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各層の出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple(torch.Tensor)、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Update on GitHub

←MuseGlimmer MVP→