Buscar en el Hub

En este tutorial, aprenderás a buscar modelos, conjuntos de datos y espacios en el Hub usando huggingface_hub.

Cómo listar repositorios

La biblioteca huggingface_hub incluye un cliente HTTP HfApi para interactuar con el Hub. Entre otras cosas, puede listar modelos, conjuntos de datos y espacios almacenados en el Hub:

>>> from huggingface_hub import HfApi
>>> api = HfApi()
>>> models = api.list_models()

La salida de list_models() es un iterador sobre los modelos almacenados en el Hub.

De manera similar, puedes usar list_datasets() para listar conjuntos de datos y list_spaces() para listar Spaces.

Cómo filtrar repositorios

Listar repositorios es útil, pero ahora es posible que quieras filtrar tu búsqueda. Los helpers de lista tienen varios atributos, como:

• filter
• author
• search
• num_parameters
• …

Veamos un ejemplo para obtener todos los modelos del Hub que realizan clasificación de imágenes, han sido entrenados en el conjunto de datos imagenet y que se ejecutan con PyTorch.

models = hf_api.list_models(filter=["image-classification", "pytorch", "imagenet"])

También puede filtrar modelos por número de parámetros usando la misma sintaxis de rango que la interfaz de usuario del Hub:

models = hf_api.list_models(num_parameters="min:6B,max:128B")

Mientras filtras, también puedes ordenar los modelos y tomar solo los mejores resultados. Por ejemplo, el siguiente ejemplo obtiene los 5 conjuntos de datos más descargados en el Hub:

>>> list(list_datasets(sort="downloads", limit=5))
[DatasetInfo(
	id='argilla/databricks-dolly-15k-curated-en',
	author='argilla',
	sha='4dcd1dedbe148307a833c931b21ca456a1fc4281',
	last_modified=datetime.datetime(2023, 10, 2, 12, 32, 53, tzinfo=datetime.timezone.utc),
	private=False,
	downloads=8889377,
	(...)

Para explorar los filtros disponibles en el Hub, visita las páginas de models y datasets en tu navegador, busca algunos parámetros y observa los valores en la URL.

Usando la CLI

También puede listar y buscar modelos, conjuntos de datos y Spaces usando la interfaz de línea de comandos hf:

# List models
>>> hf models ls --search "llama" --sort downloads --limit 5

# List datasets
>>> hf datasets ls --author Qwen

# List Spaces
>>> hf spaces ls --search "3d"

# Get info about a specific model
>>> hf models info Lightricks/LTX-2

Para más detalles, consulte la guía de la CLI.