Pesquisar no Hub

Neste tutorial, você aprenderá como buscar modelos, conjuntos de dados e espaços no Hub usando huggingface_hub.

Como listar repositórios?

A biblioteca huggingface_hub inclui um cliente HTTP HfApi para interagir com o Hub. Entre outras coisas, ele pode listar modelos, conjuntos de dados e espaços armazenados no Hub:

>>> from huggingface_hub import HfApi
>>> api = HfApi()
>>> models = api.list_models()

A saída de list_models() é um iterador sobre os modelos armazenados no Hub.

Da mesma forma, você pode usar list_datasets() para listar conjuntos de dados e list_spaces() para listar Spaces.

Como filtrar repositórios?

Listar repositórios é ótimo, mas agora você pode querer filtrar sua busca. Os auxiliares de listagem têm vários atributos, como:

• filter
• author
• search
• num_parameters
• …

Vamos ver um exemplo para obter todos os modelos no Hub que fazem classificação de imagem, foram treinados no dataset imagenet e que rodam com PyTorch.

models = hf_api.list_models(filter=["image-classification", "pytorch", "imagenet"])

Você também pode filtrar modelos pela contagem de parâmetros usando a mesma sintaxe de intervalo da interface do Hub:

models = hf_api.list_models(num_parameters="min:6B,max:128B")

Durante a filtragem, você também pode ordenar os modelos e obter apenas os principais resultados. Por exemplo, o exemplo a seguir busca os 5 conjuntos de dados mais baixados no Hub:

>>> list(list_datasets(sort="downloads", limit=5))
[DatasetInfo(
	id='argilla/databricks-dolly-15k-curated-en',
	author='argilla',
	sha='4dcd1dedbe148307a833c931b21ca456a1fc4281',
	last_modified=datetime.datetime(2023, 10, 2, 12, 32, 53, tzinfo=datetime.timezone.utc),
	private=False,
	downloads=8889377,
	(...)

Para explorar os filtros disponíveis no Hub, visite as páginas models e datasets no seu navegador, pesquise por alguns parâmetros e observe os valores na URL.

Usando a CLI

Você também pode listar e pesquisar modelos, conjuntos de dados e Spaces usando a interface de linha de comando hf:

# List models
>>> hf models ls --search "llama" --sort downloads --limit 5

# List datasets
>>> hf datasets ls --author Qwen

# List Spaces
>>> hf spaces ls --search "3d"

# Get info about a specific model
>>> hf models info Lightricks/LTX-2

Para mais detalhes, consulte o guia de CLI.