GGUF

Hugging Face Hub은 모든 파일 형식을 지원하지만, 모델의 빠른 로딩과 저장을 위해 최적화된 바이너리 형식인 GGUF 형식에 대한 내장 기능을 제공합니다. 이는 추론 목적에 매우 효율적입니다. GGUF는 GGML 및 기타 실행기와 함께 사용하도록 설계되었습니다. GGUF는 인기 있는 C/C++ LLM 추론 프레임워크인 llama.cpp의 개발자이기도 한 @ggerganov에 의해 개발되었습니다. PyTorch와 같은 프레임워크에서 처음 개발된 모델은 해당 엔진에서 사용하기 위해 GGUF 형식으로 변환할 수 있습니다.

이 그래프에서 볼 수 있듯이, safetensors와 같이 텐서만 저장하는 파일 형식과 달리, Hub에서 권장하는 모델 형식이기도 한 GGUF는 텐서와 표준화된 메타데이터 세트를 모두 인코딩합니다.

GGUF 파일 찾기

GGUF 태그로 필터링하여 GGUF 파일이 포함된 모든 모델을 탐색할 수 있습니다: hf.co/models?library=gguf. 또한, ggml-org/gguf-my-repo 도구를 사용하여 모델 가중치를 GGUF 가중치로 변환/양자화할 수 있습니다.

예를 들어, GGUF 파일의 실제 사용 사례를 확인하려면 TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF를 살펴볼 수 있습니다.

메타데이터 및 텐서 정보 뷰어

Hub에는 GGUF 파일 뷰어가 있어 사용자가 메타데이터 및 텐서 정보(이름, shape, 정밀도)를 확인할 수 있습니다. 뷰어는 모델 페이지(예시) 및 파일 페이지(예시)에서 사용할 수 있습니다.

오픈소스 도구와 함께 사용

• llama.cpp
• LM Studio
• GPT4All
• Ollama

@huggingface/gguf로 메타데이터 파싱

원격 호스팅 파일(예: Hugging Face Hub)에서 작동하는 javascript 기반 GGUF 파서를 만들었습니다.

npm install @huggingface/gguf

import { gguf } from "@huggingface/gguf";
// remote GGUF file from https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
const URL_LLAMA = "https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/191239b/llama-2-7b-chat.Q2_K.gguf";
const { metadata, tensorInfos } = await gguf(URL_LLAMA);

자세한 내용은 여기에서 확인하세요.

양자화 유형

위 표에 부정확한 부분이 있다면 이 파일에 PR을 열어 주세요.