Publish CPU LoRA pilot with held-out float32 evaluation and full reproduction scripts

LICENSE

@@ -0,0 +1,190 @@
+ Apache License
+                           Version 2.0, January 2004
+                        http://www.apache.org/licenses/
+
+   TERMS AND CONDITIONS FOR USE, REPRODUCTION, AND DISTRIBUTION
+
+   1. Definitions.
+
+      "License" shall mean the terms and conditions for use, reproduction,
+      and distribution as defined by Sections 1 through 9 of this document.
+
+      "Licensor" shall mean the copyright owner or entity authorized by
+      the copyright owner that is granting the License.
+
+      "Legal Entity" shall mean the union of the acting entity and all
+      other entities that control, are controlled by, or are under common
+      control with that entity. For the purposes of this definition,
+      "control" means (i) the power, direct or indirect, to cause the
+      direction or management of such entity, whether by contract or
+      otherwise, or (ii) ownership of fifty percent (50%) or more of the
+      outstanding shares, or (iii) beneficial ownership of such entity.
+
+      "You" (or "Your") shall mean an individual or Legal Entity
+      exercising permissions granted by this License.
+
+      "Source" form shall mean the preferred form for making modifications,
+      including but not limited to software source code, documentation
+      source, and configuration files.
+
+      "Object" form shall mean any form resulting from mechanical
+      transformation or translation of a Source form, including but
+      not limited to compiled object code, generated documentation,
+      and conversions to other media types.
+
+      "Work" shall mean the work of authorship, whether in Source or
+      Object form, made available under the License, as indicated by a
+      copyright notice that is included in or attached to the work
+      (an example is provided in the Appendix below).
+
+      "Derivative Works" shall mean any work, whether in Source or Object
+      form, that is based on (or derived from) the Work and for which the
+      editorial revisions, annotations, elaborations, or other modifications
+      represent, as a whole, an original work of authorship. For the purposes
+      of this License, Derivative Works shall not include works that remain
+      separable from, or merely link (or bind by name) to the interfaces of,
+      the Work and Derivative Works thereof.
+
+      "Contribution" shall mean any work of authorship, including
+      the original version of the Work and any modifications or additions
+      to that Work or Derivative Works thereof, that is intentionally
+      submitted to Licensor for inclusion in the Work by the copyright owner
+      or by an individual or Legal Entity authorized to submit on behalf of
+      the copyright owner. For the purposes of this definition, "submitted"
+      means any form of electronic, verbal, or written communication sent
+      to the Licensor or its representatives, including but not limited to
+      communication on electronic mailing lists, source code control systems,
+      and issue tracking systems that are managed by, or on behalf of, the
+      Licensor for the purpose of discussing and improving the Work, but
+      excluding communication that is conspicuously marked or otherwise
+      designated in writing by the copyright owner as "Not a Contribution."
+
+      "Contributor" shall mean Licensor and any individual or Legal Entity
+      on behalf of whom a Contribution has been received by Licensor and
+      subsequently incorporated within the Work.
+
+   2. Grant of Copyright License. Subject to the terms and conditions of
+      this License, each Contributor hereby grants to You a perpetual,
+      worldwide, non-exclusive, no-charge, royalty-free, irrevocable
+      copyright license to reproduce, prepare Derivative Works of,
+      publicly display, publicly perform, sublicense, and distribute the
+      Work and such Derivative Works in Source or Object form.
+
+   3. Grant of Patent License. Subject to the terms and conditions of
+      this License, each Contributor hereby grants to You a perpetual,
+      worldwide, non-exclusive, no-charge, royalty-free, irrevocable
+      (except as stated in this section) patent license to make, have made,
+      use, offer to sell, sell, import, and otherwise transfer the Work,
+      where such license applies only to those patent claims licensable
+      by such Contributor that are necessarily infringed by their
+      Contribution(s) alone or by combination of their Contribution(s)
+      with the Work to which such Contribution(s) was submitted. If You
+      institute patent litigation against any entity (including a
+      cross-claim or counterclaim in a lawsuit) alleging that the Work
+      or a Contribution incorporated within the Work constitutes direct
+      or contributory patent infringement, then any patent licenses
+      granted to You under this License for that Work shall terminate
+      as of the date such litigation is filed.
+
+   4. Redistribution. You may reproduce and distribute copies of the
+      Work or Derivative Works thereof in any medium, with or without
+      modifications, and in Source or Object form, provided that You
+      meet the following conditions:
+
+      (a) You must give any other recipients of the Work or
+          Derivative Works a copy of this License; and
+
+      (b) You must cause any modified files to carry prominent notices
+          stating that You changed the files; and
+
+      (c) You must retain, in the Source form of any Derivative Works
+          that You distribute, all copyright, patent, trademark, and
+          attribution notices from the Source form of the Work,
+          excluding those notices that do not pertain to any part of
+          the Derivative Works; and
+
+      (d) If the Work includes a "NOTICE" text file as part of its
+          distribution, then any Derivative Works that You distribute must
+          include a readable copy of the attribution notices contained
+          within such NOTICE file, excluding those notices that do not
+          pertain to any part of the Derivative Works, in at least one
+          of the following places: within a NOTICE text file distributed
+          as part of the Derivative Works; within the Source form or
+          documentation, if provided along with the Derivative Works; or,
+          within a display generated by the Derivative Works, if and
+          wherever such third-party notices normally appear. The contents
+          of the NOTICE file are for informational purposes only and
+          do not modify the License. You may add Your own attribution
+          notices within Derivative Works that You distribute, alongside
+          or as an addendum to the NOTICE text from the Work, provided
+          that such additional attribution notices cannot be construed
+          as modifying the License.
+
+      You may add Your own copyright statement to Your modifications and
+      may provide additional or different license terms and conditions
+      for use, reproduction, or distribution of Your modifications, or
+      for any such Derivative Works as a whole, provided Your use,
+      reproduction, and distribution of the Work otherwise complies with
+      the conditions stated in this License.
+
+   5. Submission of Contributions. Unless You explicitly state otherwise,
+      any Contribution intentionally submitted for inclusion in the Work
+      by You to the Licensor shall be under the terms and conditions of
+      this License, without any additional terms or conditions.
+      Notwithstanding the above, nothing herein shall supersede or modify
+      the terms of any separate license agreement you may have executed
+      with Licensor regarding such Contributions.
+
+   6. Trademarks. This License does not grant permission to use the trade
+      names, trademarks, service marks, or product names of the Licensor,
+      except as required for reasonable and customary use in describing the
+      origin of the Work and reproducing the content of the NOTICE file.
+
+   7. Disclaimer of Warranty. Unless required by applicable law or
+      agreed to in writing, Licensor provides the Work (and each
+      Contributor provides its Contributions) on an "AS IS" BASIS,
+      WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or
+      implied, including, without limitation, any warranties or conditions
+      of TITLE, NON-INFRINGEMENT, MERCHANTABILITY, or FITNESS FOR A
+      PARTICULAR PURPOSE. You are solely responsible for determining the
+      appropriateness of using or redistributing the Work and assume any
+      risks associated with Your exercise of permissions under this License.
+
+   8. Limitation of Liability. In no event and under no legal theory,
+      whether in tort (including negligence), contract, or otherwise,
+      unless required by applicable law (such as deliberate and grossly
+      negligent acts) or agreed to in writing, shall any Contributor be
+      liable to You for damages, including any direct, indirect, special,
+      incidental, or consequential damages of any character arising as a
+      result of this License or out of the use or inability to use the
+      Work (including but not limited to damages for loss of goodwill,
+      work stoppage, computer failure or malfunction, or any and all
+      other commercial damages or losses), even if such Contributor
+      has been advised of the possibility of such damages.
+
+   9. Accepting Warranty or Additional Liability. While redistributing
+      the Work or Derivative Works thereof, You may choose to offer,
+      and charge a fee for, acceptance of support, warranty, indemnity,
+      or other liability obligations and/or rights consistent with this
+      License. However, in accepting such obligations, You may act only
+      on Your own behalf and on Your sole responsibility, not on behalf
+      of any other Contributor, and only if You agree to indemnify,
+      defend, and hold each Contributor harmless for any liability
+      incurred by, or claims asserted against, such Contributor by reason
+      of your accepting any such warranty or additional liability.
+
+   END OF TERMS AND CONDITIONS
+
+   Copyright Nicholas Kluge Corrêa, Aniket Sen, Sophia Falk, and Shiza Fatimah
+
+   Licensed under the Apache License, Version 2.0 (the "License");
+   you may not use this file except in compliance with the License.
+   You may obtain a copy of the License at
+
+       http://www.apache.org/licenses/LICENSE-2.0
+
+   Unless required by applicable law or agreed to in writing, software
+   distributed under the License is distributed on an "AS IS" BASIS,
+   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+   See the License for the specific language governing permissions and
+   limitations under the License.

NOTICE

@@ -0,0 +1,14 @@
+Tucano-160m OASST2 pt-BR LoRA CPU pilot
+Copyright 2026 Guilherme Monteiro.
+
+Base model: TucanoBR/Tucano-160m, Apache License 2.0.
+Authors: Nicholas Kluge Corrêa, Aniket Sen, Sophia Falk, Shiza Fatimah.
+https://huggingface.co/TucanoBR/Tucano-160m
+
+Training and evaluation examples: a filtered, newly split subset of
+OpenAssistant/oasst2 by the OpenAssistant community, Apache License 2.0.
+https://huggingface.co/datasets/OpenAssistant/oasst2
+No claim of original authorship of those examples is made.
+
+Original code and adapter modifications in this repository are licensed
+under the Apache License 2.0. No warranty is given.

README.md

@@ -0,0 +1,239 @@
+---
+language:
+- pt
+license: apache-2.0
+library_name: peft
+pipeline_tag: text-generation
+base_model: TucanoBR/Tucano-160m
+base_model_relation: adapter
+datasets:
+- OpenAssistant/oasst2
+tags:
+- base_model:adapter:TucanoBR/Tucano-160m
+- lora
+- transformers
+- cpu
+- experimental
+- reproducibility
+- brazilian-portuguese
+---
+
+# Tucano-160m: LoRA em pt-BR, treinado em CPU
+
+Piloto de adaptação para responder instruções curtas em português brasileiro. Usa 94 pares de treino do OpenAssistant 2 e publica o adapter com o código completo.
+
+**A loss caiu, mas as respostas continuam erradas em exemplos simples. Não é um assistente pronto.** O valor deste repositório é permitir reproduzir um treino pequeno, comparar com a base e inspecionar as falhas sem precisar de GPU.
+
+English summary: CPU-only LoRA experiment on Brazilian Portuguese instructions. Held-out response-token loss decreased; generated answers remain unreliable. Research artifact, not a usable general assistant.
+
+## Resultado medido
+
+Avaliação final em **float32, sem autocast**, com os mesmos prompts e respostas de referência antes e depois. Loss de próximo token apenas na resposta, incluindo EOS; instrução e padding ficam mascarados. A média é ponderada pelo número de tokens de resposta. Perplexidade = exp(loss). Isso mede ajuste às referências, não correção factual.
+
+| Conjunto | Exemplos | Tokens de resposta | Loss base | Loss LoRA | PPL base | PPL LoRA |
+|---|---:|---:|---:|---:|---:|---:|
+| Validação | 12 | 1.522 | 2.3569 | 2.2422 | 10.5577 | 9.4140 |
+| Teste retido | 12 | 1.907 | 2.4296 | 2.3473 | 11.3544 | 10.4572 |
+
+O checkpoint publicado é o da **época 2**, escolhido pela menor loss de validação, medida durante o treino sob autocast bfloat16, entre seis épocas. A avaliação final float32 não alterou essa seleção. O teste não escolheu o checkpoint nem os hiperparâmetros. Não houve busca de hiperparâmetros. Uma única seed; o teste tem só 12 itens e não sustenta conclusão sobre desempenho geral.
+
+[metrics.json](metrics.json) contém os números completos e a curva por época. [verification.json](verification.json) registra uma segunda avaliação, carregando o adapter salvo do disco; as quatro losses foram reproduzidas com tolerância de 1e-6.
+
+## Gerações antes e depois
+
+Greedy em float32, sem amostragem, limite de 80 tokens novos. Mesma instrução e tokenizer. Os seis exemplos são os primeiros do teste na ordenação SHA-256 definida antes do treino, sem escolher os melhores. Saídas brutas e referências em [generations.json](generations.json).
+
+As primeiras três comparações são:
+
+### Exemplo 1
+
+Instrução: A mãe de Pedro tem 3 filhos, o mais novo se chama Bruno e o mais velho se chama Júlio. Qual é o nome do filho do meio?
+
+Base:
+
+```text
+Júlio: O nome dele é João.
+###
+Qual é a idade da criança que está com ele?
+###
+Quais são os nomes dos filhos dela?
+Julio: O nome deles é Pedro.
+###
+Qual é o nome do irmãozinho que ela tem?
+###
+Quais são as características físicas da criança que ela tem?
+###
+Quais são os traços físicos
+```
+
+LoRA:
+
+```text
+O nome do filho do meio é Bruno.
+```
+
+### Exemplo 2
+
+Instrução: Olá! Você poderia agir como um professor de inglês? Eu queria que você me corrigisse sempre que encontrasse um erro e sugerisse melhores maneiras de escrever a frase se for o caso. What you think?
+
+Base:
+
+```text
+Com base no texto fornecido, aqui está uma possível resposta:
+
+Você pode corrigir o problema da seguinte forma: 
+ - A sentença deve ser escrita em inglês. 
+ - O problema é sobre erros gramaticais ou ortográficos. 
+ - Se houver erros, por favor forneça mais informações para ajudar a resolver o problema.
+```
+
+LoRA:
+
+```text
+Como modelo de linguagem AI, não posso fornecer uma resposta definitiva sobre qual é o melhor método para corrigir erros gramaticais ou ortográficos. No entanto, aqui estão algumas dicas gerais que podem ajudar:
+
+1. Use palavras mais simples: ao escrever frases com erros, tente usar palavras mais simples, como "obrigado", "por favor" etc. Isso ajudará a evitar confusões e melhorar a compreensão do leitor.
+
+2. Evite jarg
+```
+
+### Exemplo 3
+
+Instrução: Olá! O que são rimas ricas e rimas pobres? Poderia escrever algumas rimas ricas e algumas rimas pobres.
+
+Base:
+
+```text
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas pobres
+Rimas ricas, rimas pobres, rimas
+```
+
+LoRA:
+
+```text
+Rimas ricas, rimas pobres. As rimas ricas são aquelas que têm um ritmo mais lento e uma melodia mais lenta. Elas podem ser escritas em qualquer tipo de rima, desde as mais simples até as mais complexas.
+```
+
+O filho esperado no exemplo 1 é Pedro, não Bruno. A resposta sobre rimas não explica o critério de classes gramaticais. Esses exemplos não demonstram ganho factual.
+
+Essas observações não são uma métrica de acurácia. Não foi medida melhoria factual nem segurança.
+
+## Base e dados
+
+**Base:** [TucanoBR/Tucano-160m](https://huggingface.co/TucanoBR/Tucano-160m), 162.417.408 parâmetros, arquitetura Llama, Apache-2.0. Revisão `6331cbef9933c05d8d0c8ae5ee23ed2570f06571`. Foram conferidos também o Tucano-630m e os Instruct oficiais; os Instruct começam em 1b1. A versão de 160m mantém o experimento pequeno em CPU. O 630m não foi treinado nem cronometrado aqui. O projeto original já aponta para a série Tucano 2 da Polygl0t; este piloto usa explicitamente a primeira série.
+
+**Dados:** [OpenAssistant/oasst2](https://huggingface.co/datasets/OpenAssistant/oasst2), Apache-2.0, revisão `179dd21fc55192153d94adb0e0ce8f69e222bf75`, arquivo `2023-11-05_oasst2_ready.messages.jsonl.gz`.
+
+Foram conferidos primeiro os datasets de guicybercode. O `nl2bash-pt` foi descartado porque seu próprio card informa fontes sem licença declarada e sem rastreabilidade por linha, além de erros de tradução. O `cybercode-bench-ptbr` permanece reservado para avaliação; nenhum de seus itens foi usado. Os outros próprios têm tema diferente ou são microamostras. O OpenAssistant tem instruções humanas e licença explícita.
+
+Filtros aplicados a pergunta e resposta:
+
+- Idioma original `pt-BR`, revisão aprovada, não deletado e não sintético. Qualidade anotada pelo dataset >= 0,5; PII, spam e idioma errado sem indicação positiva. Isso usa anotações existentes, não uma auditoria nova de privacidade ou de conteúdo.
+- Só primeira resposta de cada árvore, rank 0. Instrução entre 4 e 128 tokens; resposta entre 4 e 256 tokens, incluindo EOS; no máximo 384 tokens totais. Sem truncamento. Excluídos pictogramas e instruções duplicadas exatas após normalizar caixa e espaços.
+
+208 pares passaram nos filtros anteriores ao limite de tamanho; 90 foram excluídos por comprimento. Restaram 118: **94 treino, 12 validação e 12 teste**. São splits próprios, não os splits oficiais da fonte. Árvores inteiras ficam em um único split, ordenadas pelo SHA-256 de `tucano-ptbr-v1:` + ID da pergunta. Não foi feita deduplicação semântica entre árvores.
+
+Os arquivos em [data/](data/) contêm texto e IDs necessários para reproduzir o recorte, sem IDs dos colaboradores nem metadados de conta. [data-stats.json](data-stats.json) registra contagens e hashes.
+
+A revisão humana original não garante referências corretas. Há erros conhecidos: a referência do exemplo sobre Transformers sugere um método inexistente `model.inference`; respostas sobre esportes podem estar desatualizadas. Nenhuma dessas referências deve ser tratada como documentação ou conselho.
+
+## Treino e custo observado
+
+| Item | Valor |
+|---|---|
+| Hardware | Intel Xeon x86-64, 8 vCPUs, 15,627 GiB de RAM; sem GPU |
+| Uso de CPU | 6 threads intra-op; 1 inter-op |
+| Precisão | Pesos base e LoRA float32; operações sob autocast bfloat16 em CPU |
+| LoRA | r=16; alpha=32; dropout=0,05; bias=none |
+| Projeções | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
+| Parâmetros treináveis | 3.391.488; base congelada |
+| Otimizador | AdamW; learning rate 3e-4; weight decay 0,01; gradient clip 1,0 |
+| Scheduler | Cosine; 3 passos de warmup entre 36 updates totais |
+| Batch | Microbatch 4; acumulação 4; efetivo nominal 16, último grupo menor |
+| Loss | Apenas resposta + EOS; acumulação ponderada por tokens |
+| Duração planejada | 6 épocas, seed 42 |
+| Checkpoint publicado | Época 2, após 12 updates e 25.028 tokens supervisionados, contando repetições |
+| Treino das seis épocas, sem avaliações | 154.75 s, cerca de 2 min 35 s |
+| Processo de treino com avaliações e gerações BF16 | 187.06 s, cerca de 3 min 07 s; sem instalação/downloads |
+| Avaliação final float32 + gerações, após o treino | 14.20 s adicionais |
+| Pico RSS do processo de treino | 5.50 GiB |
+
+Execução em 10/11/2026, das 16h11 às 16h14, horário de Brasília (America/Sao_Paulo, UTC-3). Instalação e preparação dos dados não estão incluídas nas durações acima. O primeiro run foi repetido ao investigar variação na baseline. Um controle mostrou variação entre forwards idênticos sob autocast bfloat16 nesta CPU, mesmo em eval. A tabela de resultados foi então recalculada em float32, sem mudar o checkpoint ou os hiperparâmetros. A recarga independente confere essa avaliação float32. As medições BF16 originais ficam em `training-metrics.json`; as gerações BF16 ficam em `bfloat16-generations.json` e `baseline.json`. Os dois runs de seis épocas somaram cerca de cinco minutos de treino; a tabela de custo reporta o run final e a avaliação float32 adicional. As seis épocas somaram 75.084 tokens de resposta supervisionados, contando repetições; o adapter selecionado só viu as duas primeiras.
+
+Python 3.13.5, PyTorch 2.15.0+cpu, Transformers 4.57.6, PEFT 0.21.2, Datasets 5.0.1, Accelerate 1.15.0. [requirements-lock.txt](requirements-lock.txt) fixa o ambiente observado. Logs completos em [logs/](logs/).
+
+## Como carregar
+
+O repositório contém o adapter, scripts e dados do recorte. Pesos e tokenizer são carregados da revisão fixada da base. Não exige `trust_remote_code`. Para reproduzir o caminho float32 da avaliação:
+
+```python
+import torch
+from peft import PeftModel
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+torch.set_num_threads(6)
+repo = "guicybercode/tucano-160m-oasst2-ptbr-lora-cpu-piloto"
+base_id = "TucanoBR/Tucano-160m"
+base_revision = "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+
+tokenizer = AutoTokenizer.from_pretrained(base_id, revision=base_revision)
+base = AutoModelForCausalLM.from_pretrained(
+    base_id, revision=base_revision, torch_dtype=torch.float32,
+    attn_implementation="sdpa",
+)
+model = PeftModel.from_pretrained(base, repo).eval()
+text = "### Instrução:\nQual é a capital do Brasil?\n\n### Resposta:\n"
+inputs = tokenizer(text, return_tensors="pt")
+with torch.inference_mode():
+    output = model.generate(
+        **inputs, max_new_tokens=80, do_sample=False, use_cache=True,
+        pad_token_id=tokenizer.pad_token_id,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+print(tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+Velocidade, arredondamentos e saídas podem mudar em outro hardware ou outra precisão. O exemplo demonstra carregamento, não garante resposta correta. Não execute código ou comandos gerados.
+
+## Reproduzir o experimento
+
+Baixe os arquivos deste repositório para uma pasta local. Depois:
+
+```bash
+python3 -m venv .venv
+. .venv/bin/activate
+pip install --extra-index-url https://download.pytorch.org/whl/cpu -r requirements-lock.txt
+python scripts/download_base.py
+python scripts/prepare.py
+python scripts/test_pipeline.py
+python scripts/train.py
+python scripts/final_eval.py
+python scripts/verify_adapter.py
+```
+
+`prepare.py` refaz o recorte na subpasta `publish/data/`; `train.py` escreve o novo adapter e seus resultados BF16 em `publish/`; `final_eval.py` registra a comparação final float32, sem mudar o adapter. Os hashes permitem conferir o recorte. O checkpoint inicial é sempre a base original, não este adapter. Seed fixa não garante reprodução bit a bit em outro hardware.
+
+## Limitações e próximo passo
+
+Este é um ensaio de treinamento, não um modelo de uso. São 94 exemplos de treino e apenas 12 de teste. O resultado depende do recorte; não mede generalização para outros assuntos. A possível presença dos dados no pré-treino da base não foi investigada.
+
+O LoRA aprende formato, mas pode inventar respostas curtas com mais confiança. Continua errando raciocínio simples e produzindo código falso. Os filtros não são avaliação de segurança; há vieses herdados dos dados. Não usar para saúde, decisões sobre pessoas ou geração autônoma de comandos.
+
+O gargalo deste piloto é a quantidade e a revisão dos dados, não só o hardware. Um próximo experimento precisa de mais pares pt-BR revisados, teste maior e métricas da tarefa, com múltiplas seeds. O Tucano-630m pode ser uma comparação futura em uma T4 de Kaggle/Colab, se houver cota; nenhuma execução nessa GPU foi feita e não há estimativa medida de duração. Não há Space ou modelo mesclado neste lançamento.
+
+## Créditos e licença
+
+Adapter e scripts: Guilherme Monteiro / [guicybercode](https://huggingface.co/guicybercode), Apache-2.0. Os exemplos são um recorte filtrado de OpenAssistant/oasst2, Apache-2.0; não são dados originais de guicybercode. Pesos base: TucanoBR, Apache-2.0. Consulte [LICENSE](LICENSE) e [NOTICE](NOTICE).
+
+- Corrêa, Sen, Falk e Fatimah. *Tucano: Advancing Neural Text Generation for Portuguese*. [arXiv:2411.07854](https://arxiv.org/abs/2411.07854), [Patterns, 2025](https://doi.org/10.1016/j.patter.2025.101325).
+- Köpf et al. *OpenAssistant Conversations: Democratizing Large Language Model Alignment*. [arXiv:2304.07327](https://arxiv.org/abs/2304.07327), 2023; release 2 do corpus, novembro de 2023.
+### Framework versions
+
+- PEFT 0.21.2

adapter_config.json

@@ -0,0 +1,51 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "TucanoBR/Tucano-160m",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "kasa_config": null,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "lora_ga_config": null,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "monteclora_config": null,
+  "peft_type": "LORA",
+  "peft_version": "0.21.2",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571",
+  "target_modules": [
+    "gate_proj",
+    "v_proj",
+    "k_proj",
+    "up_proj",
+    "down_proj",
+    "o_proj",
+    "q_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_bdlora": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false,
+  "velora_config": null
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0dec305009fff55a334b7a829d7b0763bbcceeee3a8892090e88303784c6c980
+size 13587864

baseline.json

@@ -0,0 +1,56 @@
+{
+  "metrics": {
+    "validation": {
+      "loss": 2.356751855036902,
+      "perplexity": 10.55660631600646,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 0.7319192210052279
+    },
+    "test": {
+      "loss": 2.430188522578911,
+      "perplexity": 11.361023687609077,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 0.6798040540015791
+    }
+  },
+  "generations": [
+    {
+      "prompt_id": "3e81f3af-3c30-4d6f-9b7b-1d18bd0e1ba7",
+      "instruction": "A mãe de Pedro tem 3 filhos, o mais novo se chama Bruno e o mais velho se chama Júlio. Qual é o nome do filho do meio?",
+      "reference": "No cenário apresentado, Pedro seria o filho do meio, pois entre os filhos, ele não é nem o mais velho e nem o mais novo, logo, Pedro é o filho do meio.",
+      "generated": "Júlio: O nome dele é João.\n###\nQual é a idade da criança que está com ele?\n###\nQuais são os nomes dos filhos dela?\nJulio: O nome deles é Pedro.\n###\nQual é o nome do irmãozinho que ela tem?\n###\nQuais são as características físicas da criança que ela tem?\n###\nQuais são os traços físicos"
+    },
+    {
+      "prompt_id": "7e5c839a-dd55-48f0-ac8e-1686301807a0",
+      "instruction": "Olá! Você poderia agir como um professor de inglês? Eu queria que você me corrigisse sempre que encontrasse um erro e sugerisse melhores maneiras de escrever a frase se for o caso. What you think?",
+      "reference": "Claro que posso ser seu professor de inglês! \nPara começar, faltou o \"do\" entre o \"What\" e o \"think\" na sua frase.\n\nWhat do you want for me to correct or teach you now?",
+      "generated": "Com base no texto fornecido, aqui está uma possível resposta:\n\nVocê pode corrigir o problema da seguinte forma: \n - A sentença deve ser escrita em inglês. \n - O problema é sobre erros gramaticais ou ortográficos. \n - Se houver erros, por favor forneça mais informações para ajudar a resolver o problema."
+    },
+    {
+      "prompt_id": "f6e266f4-cade-4874-a345-d07149c515a1",
+      "instruction": "Olá! O que são rimas ricas e rimas pobres? Poderia escrever algumas rimas ricas e algumas rimas pobres.",
+      "reference": "Rimas ricas e rimas pobres são conceitos relacionados à poesia e à sonoridade das palavras.\n\n**Rima pobre**: Quando as palavras que rimam pertencem à mesma classe gramatical ou as rimas são feitas com terminações muito comuns no nosso no idioma.\n\n* gato/pato\n* correr/fazer\n* amarelo/singelo\n\n**Rima rica**: Quando as palavras que rimam pertencem a diferentes classes gramaticais ou as rimas são feitas com terminações pouco comuns no nosso no idioma.\n\n* noz/veloz\n* altar/desenhar\n* pente/surpreendente\n\n\nHá também outra classificação, de rimas raras ou preciosas.\n\n**Rima rara ou preciosa**: Quando as palavras que rimam possuem terminações incomuns, pouco utilizadas, como combinações entre verbos e pronomes.\n\n* estrelas/vê-las\n* mandala/dá-la\n* parabéns/vinténs\n* profícuo/conspícuo",
+      "generated": "Rimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas"
+    },
+    {
+      "prompt_id": "7bbc2fef-0a18-4c7d-addf-5429150565a5",
+      "instruction": "Quais são as equipes mais bem-sucedidas na história da Liga dos Campeões da UEFA?",
+      "reference": "De acordo com o meu conhecimento atual (2023), o Real Madrid é o clube mais bem sucedido da história da Liga dos Campeões da UEFA, tendo ganho o torneio 14 vezes, incluindo as primeiras cinco temporadas. Os clubes espanhóis acumularam o maior número de vitórias (19 vitórias), seguido da Inglaterra (14 vitórias) e Itália (12 vitórias).\n\nO segundo clube mais bem sucedido é o Milan, com 7 títulos e 4 vices. O terceiro é o Bayern de Munique, com 6 títulos e 5 vices.",
+      "generated": "Com base nas informações fornecidas, a resposta correta é que o Real Madrid venceu a Copa do Rei em sua primeira temporada como campeão."
+    },
+    {
+      "prompt_id": "dffdc223-1083-429e-8fd6-e57b7607df74",
+      "instruction": "Escreva uma carta para a um amigo em torno do século 19 como se você fosse um nobre",
+      "reference": "Meu querido amigo,\n\nPermita-me, com a mais elevada consideração e respeito, dirigir-me a você neste dia solene e majestoso. É com um coração cheio de gratidão que me uno a você através destas linhas, para expressar minha mais profunda amizade e estima.\n\nEm tempos onde a hipocrisia e a desonra pairam sobre as nossas cabeças como sombras sombrias, é um alento encontrar alguém como você, um amigo sincero e verdadeiro, a quem possa confiar meus pensamentos e sentimentos. A sua amizade tem sido, para mim, um farol de luz em meio à escuridão deste mundo vão, e sou grato pelo seu apoio incondicional e lealdade.\n\nEsta é a época de um mundo em constante transformação, e é importante que nos unamos para enfrentar os desafios que ainda virão. Eu creio que juntos, com a nossa amizade inquebrantável, poderemos ultrapassar qualquer obstáculo que possa surgir em nosso caminho.\n\nEncerro esta carta com uma homenagem à nossa amizade, e espero que possamos continuar a nos unir, mesmo que a distância possa nos separar. Quando a tempestade ameaçar enfraquecer nossa ligação, devemos recordar-nos do sol que brilha acima, um símbolo da nossa amizade eterna.\n\nCom o mais elevado respeito e admiração,\n\n[Seu Nome]",
+      "generated": "[Seu nome]\n\nVocê pode me fornecer mais informações sobre o papel da família na sociedade e no governo?\n\nCertamente! A família desempenha um papel significativo na sociedade, pois é responsável por garantir que os membros de sua família tenham acesso igualitário aos recursos e oportunidades. Os pais são responsáveis ​​por criar os filhos e cuidar deles até eles completarem 18 anos. Eles também têm poder e influência significativos nas decisões"
+    },
+    {
+      "prompt_id": "30cd6bf6-772e-4983-8df1-b2a85433d2f6",
+      "instruction": "Como usar a biblioteca de \"transformers\" em python para fazer inferência de um modelo de texto e obter o output de volta em texto?",
+      "reference": "A biblioteca de transformers em Python fornece uma API para acessar modelos de processamento de linguagem natural (NLP) pré-treinados. Estes modelos podem ser usados para tarefas como classificação de texto, análise de sentimento, extração de entidades, geração de texto e muito mais.\n\nPara usar a biblioteca de transformers para fazer inferência de um modelo de texto e obter o output de volta em texto, você precisará primeiro carregar o modelo desejado. Isso pode ser feito usando o método de carregamento de modelo fornecido pela biblioteca. Por exemplo, para carregar o modelo BERT, você pode usar o seguinte código:\n\n```\nfrom transformers import BertModel\n\nmodel = BertModel.from_pretrained('bert-base-uncased')\n```\n\nUma vez que o modelo foi carregado, você pode usar o método de inferência fornecido pela biblioteca para passar o texto de entrada para o modelo e obter o output de volta em texto. Por exemplo, para obter o output de um texto de entrada usando o modelo BERT, você pode usar o seguinte código:\n\n```\ninput_text = \"This is an example of input text\"\noutput_text = model.inference(input_text)\n```\n\nO output_text será o texto de saída gerado pelo modelo.",
+      "generated": "\n 1. Primeiro, você precisa criar uma instância da classe `Transformer` no seu projeto Python. Você pode fazer isso usando a função `init()`. 2. Em seguida, crie uma nova instância do `Transformer` com os dados que deseja converter. 3. Em seguida, adicione as seguintes linhas ao arquivo `Python.py`:\n\n```python\nimport transformers\n import matplotlib.pyplot"
+    }
+  ]
+}

bfloat16-generations.json

@@ -0,0 +1,44 @@
+[
+  {
+    "prompt_id": "3e81f3af-3c30-4d6f-9b7b-1d18bd0e1ba7",
+    "instruction": "A mãe de Pedro tem 3 filhos, o mais novo se chama Bruno e o mais velho se chama Júlio. Qual é o nome do filho do meio?",
+    "reference": "No cenário apresentado, Pedro seria o filho do meio, pois entre os filhos, ele não é nem o mais velho e nem o mais novo, logo, Pedro é o filho do meio.",
+    "before": "Júlio: O nome dele é João.\n###\nQual é a idade da criança que está com ele?\n###\nQuais são os nomes dos filhos dela?\nJulio: O nome deles é Pedro.\n###\nQual é o nome do irmãozinho que ela tem?\n###\nQuais são as características físicas da criança que ela tem?\n###\nQuais são os traços físicos",
+    "after": "O nome do filho do meio é Bruno."
+  },
+  {
+    "prompt_id": "7e5c839a-dd55-48f0-ac8e-1686301807a0",
+    "instruction": "Olá! Você poderia agir como um professor de inglês? Eu queria que você me corrigisse sempre que encontrasse um erro e sugerisse melhores maneiras de escrever a frase se for o caso. What you think?",
+    "reference": "Claro que posso ser seu professor de inglês! \nPara começar, faltou o \"do\" entre o \"What\" e o \"think\" na sua frase.\n\nWhat do you want for me to correct or teach you now?",
+    "before": "Com base no texto fornecido, aqui está uma possível resposta:\n\nVocê pode corrigir o problema da seguinte forma: \n - A sentença deve ser escrita em inglês. \n - O problema é sobre erros gramaticais ou ortográficos. \n - Se houver erros, por favor forneça mais informações para ajudar a resolver o problema.",
+    "after": "Como modelo de linguagem AI, não posso fornecer uma resposta definitiva sobre qual é o melhor método para corrigir erros gramaticais ou ortográficos. No entanto, aqui estão algumas dicas gerais que podem ajudar:\n\n1. Use palavras mais simples: ao escrever, tente usar palavras mais simples, como \"obrigado\", \"obrigada\" ou \"agradecida\". Isso ajudará a evitar confusões e melhorar a compreensão do"
+  },
+  {
+    "prompt_id": "f6e266f4-cade-4874-a345-d07149c515a1",
+    "instruction": "Olá! O que são rimas ricas e rimas pobres? Poderia escrever algumas rimas ricas e algumas rimas pobres.",
+    "reference": "Rimas ricas e rimas pobres são conceitos relacionados à poesia e à sonoridade das palavras.\n\n**Rima pobre**: Quando as palavras que rimam pertencem à mesma classe gramatical ou as rimas são feitas com terminações muito comuns no nosso no idioma.\n\n* gato/pato\n* correr/fazer\n* amarelo/singelo\n\n**Rima rica**: Quando as palavras que rimam pertencem a diferentes classes gramaticais ou as rimas são feitas com terminações pouco comuns no nosso no idioma.\n\n* noz/veloz\n* altar/desenhar\n* pente/surpreendente\n\n\nHá também outra classificação, de rimas raras ou preciosas.\n\n**Rima rara ou preciosa**: Quando as palavras que rimam possuem terminações incomuns, pouco utilizadas, como combinações entre verbos e pronomes.\n\n* estrelas/vê-las\n* mandala/dá-la\n* parabéns/vinténs\n* profícuo/conspícuo",
+    "before": "Rimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas",
+    "after": "Rimas ricas, rimas pobres. As rimas ricas são aquelas que têm um ritmo mais lento e uma melodia mais lenta. Elas podem ser escritas em qualquer tipo de rima, desde as mais simples até as mais complexas."
+  },
+  {
+    "prompt_id": "7bbc2fef-0a18-4c7d-addf-5429150565a5",
+    "instruction": "Quais são as equipes mais bem-sucedidas na história da Liga dos Campeões da UEFA?",
+    "reference": "De acordo com o meu conhecimento atual (2023), o Real Madrid é o clube mais bem sucedido da história da Liga dos Campeões da UEFA, tendo ganho o torneio 14 vezes, incluindo as primeiras cinco temporadas. Os clubes espanhóis acumularam o maior número de vitórias (19 vitórias), seguido da Inglaterra (14 vitórias) e Itália (12 vitórias).\n\nO segundo clube mais bem sucedido é o Milan, com 7 títulos e 4 vices. O terceiro é o Bayern de Munique, com 6 títulos e 5 vices.",
+    "before": "Com base nas informações fornecidas, a resposta correta é que o Real Madrid venceu a Copa do Rei em sua primeira temporada como campeão.",
+    "after": "A equipe que mais ganhou títulos de Champions League é a Juventus, com um total de 12 títulos, incluindo o Campeonato Italiano e a Copa da Itália."
+  },
+  {
+    "prompt_id": "dffdc223-1083-429e-8fd6-e57b7607df74",
+    "instruction": "Escreva uma carta para a um amigo em torno do século 19 como se você fosse um nobre",
+    "reference": "Meu querido amigo,\n\nPermita-me, com a mais elevada consideração e respeito, dirigir-me a você neste dia solene e majestoso. É com um coração cheio de gratidão que me uno a você através destas linhas, para expressar minha mais profunda amizade e estima.\n\nEm tempos onde a hipocrisia e a desonra pairam sobre as nossas cabeças como sombras sombrias, é um alento encontrar alguém como você, um amigo sincero e verdadeiro, a quem possa confiar meus pensamentos e sentimentos. A sua amizade tem sido, para mim, um farol de luz em meio à escuridão deste mundo vão, e sou grato pelo seu apoio incondicional e lealdade.\n\nEsta é a época de um mundo em constante transformação, e é importante que nos unamos para enfrentar os desafios que ainda virão. Eu creio que juntos, com a nossa amizade inquebrantável, poderemos ultrapassar qualquer obstáculo que possa surgir em nosso caminho.\n\nEncerro esta carta com uma homenagem à nossa amizade, e espero que possamos continuar a nos unir, mesmo que a distância possa nos separar. Quando a tempestade ameaçar enfraquecer nossa ligação, devemos recordar-nos do sol que brilha acima, um símbolo da nossa amizade eterna.\n\nCom o mais elevado respeito e admiração,\n\n[Seu Nome]",
+    "before": "[Seu nome]\n\nVocê pode me fornecer mais informações sobre o papel da família na sociedade e no governo?\n\nCertamente! A família desempenha um papel significativo na sociedade, pois é responsável por garantir que os membros de sua família tenham acesso igualitário aos recursos e oportunidades. Os pais são responsáveis ​​por criar os filhos e cuidar deles até eles completarem 18 anos. Eles também têm poder e influência significativos nas decisões",
+    "after": "Sim, eu posso escrever uma carta para alguém que é um nobre. Aqui está o meu e-mail:\n\nQuerido [Nome],\n\nEstou escrevendo esta carta para expressar minha gratidão por sua generosidade e apoio durante os tempos difíceis da nossa sociedade. Como um nobre de coração aberto, estou profundamente grato pela oportunidade de servir com amor e dedicação ao nosso país.\n\nAtravés dos anos que passou, aprendi muito sobre as lutas e desafios"
+  },
+  {
+    "prompt_id": "30cd6bf6-772e-4983-8df1-b2a85433d2f6",
+    "instruction": "Como usar a biblioteca de \"transformers\" em python para fazer inferência de um modelo de texto e obter o output de volta em texto?",
+    "reference": "A biblioteca de transformers em Python fornece uma API para acessar modelos de processamento de linguagem natural (NLP) pré-treinados. Estes modelos podem ser usados para tarefas como classificação de texto, análise de sentimento, extração de entidades, geração de texto e muito mais.\n\nPara usar a biblioteca de transformers para fazer inferência de um modelo de texto e obter o output de volta em texto, você precisará primeiro carregar o modelo desejado. Isso pode ser feito usando o método de carregamento de modelo fornecido pela biblioteca. Por exemplo, para carregar o modelo BERT, você pode usar o seguinte código:\n\n```\nfrom transformers import BertModel\n\nmodel = BertModel.from_pretrained('bert-base-uncased')\n```\n\nUma vez que o modelo foi carregado, você pode usar o método de inferência fornecido pela biblioteca para passar o texto de entrada para o modelo e obter o output de volta em texto. Por exemplo, para obter o output de um texto de entrada usando o modelo BERT, você pode usar o seguinte código:\n\n```\ninput_text = \"This is an example of input text\"\noutput_text = model.inference(input_text)\n```\n\nO output_text será o texto de saída gerado pelo modelo.",
+    "before": "\n 1. Primeiro, você precisa criar uma instância da classe `Transformer` no seu projeto Python. Você pode fazer isso usando a função `init()`. 2. Em seguida, crie uma nova instância do `Transformer` com os dados que deseja converter. 3. Em seguida, adicione as seguintes linhas ao arquivo `Python.py`:\n\n```python\nimport transformers\n import matplotlib.pyplot",
+    "after": "Em Python , você pode usar a função `transform` para converter uma string em um formato de texto. Aqui está um exemplo de como isso pode ser feito: \n -python \n import transform \n>>> def transforme(string): \n result = Transform(input_string) \n print(\"O resultado é [1, 2, 3, 4, 5]\") \n>>>>>>>>>>>>>>>>>>>>"
+  }
+]

data-stats.json

@@ -0,0 +1,30 @@
+{
+  "source": "OpenAssistant/oasst2",
+  "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75",
+  "filters": {
+    "eligible_before_length": 208,
+    "excluded_length": 90
+  },
+  "max_length": 384,
+  "splits": {
+    "train": {
+      "examples": 94,
+      "prompt_tokens": 3432,
+      "response_tokens": 12514,
+      "sha256": "b0d8c02a8b224cea94195223fa2d15e0175dec6ef32b1eaad8f2f02f29eea1e5"
+    },
+    "validation": {
+      "examples": 12,
+      "prompt_tokens": 385,
+      "response_tokens": 1522,
+      "sha256": "cb4d0697656b4be88bc175ab59087856ce32ac748f1dec6c2caedaec4addf22a"
+    },
+    "test": {
+      "examples": 12,
+      "prompt_tokens": 334,
+      "response_tokens": 1907,
+      "sha256": "38b43cda5b42944a6514b34875d97b582712c71e760bc60f71e973e3450fe4d7"
+    }
+  },
+  "format": "### Instrução:\n{instruction}\n\n### Resposta:\n{response}<eos>"
+}

data/test.jsonl

@@ -0,0 +1,12 @@
+{"prompt_id": "3e81f3af-3c30-4d6f-9b7b-1d18bd0e1ba7", "response_id": "3871ac73-080c-455f-bdee-a8616bb1c5bb", "tree_id": "3e81f3af-3c30-4d6f-9b7b-1d18bd0e1ba7", "instruction": "A mãe de Pedro tem 3 filhos, o mais novo se chama Bruno e o mais velho se chama Júlio. Qual é o nome do filho do meio?", "response": "No cenário apresentado, Pedro seria o filho do meio, pois entre os filhos, ele não é nem o mais velho e nem o mais novo, logo, Pedro é o filho do meio.", "prompt_tokens": 39, "response_tokens": 35, "split_hash": "ded77a374fa2b3d789c1c0520c05ee560da46df42d229ba9019b4ca1f61f7487"}
+{"prompt_id": "7e5c839a-dd55-48f0-ac8e-1686301807a0", "response_id": "1940e1d0-61f8-4290-9be3-99d3d7391f12", "tree_id": "7e5c839a-dd55-48f0-ac8e-1686301807a0", "instruction": "Olá! Você poderia agir como um professor de inglês? Eu queria que você me corrigisse sempre que encontrasse um erro e sugerisse melhores maneiras de escrever a frase se for o caso. What you think?", "response": "Claro que posso ser seu professor de inglês! \nPara começar, faltou o \"do\" entre o \"What\" e o \"think\" na sua frase.\n\nWhat do you want for me to correct or teach you now?", "prompt_tokens": 51, "response_tokens": 52, "split_hash": "e1c71ea5f6a424226c8e1159b3a7247dfba5784ae8063b2a72d03f2ff6dae1f6"}
+{"prompt_id": "f6e266f4-cade-4874-a345-d07149c515a1", "response_id": "ed48bacc-5d4a-43e5-ab68-c6ddd0d8261e", "tree_id": "f6e266f4-cade-4874-a345-d07149c515a1", "instruction": "Olá! O que são rimas ricas e rimas pobres? Poderia escrever algumas rimas ricas e algumas rimas pobres.", "response": "Rimas ricas e rimas pobres são conceitos relacionados à poesia e à sonoridade das palavras.\n\n**Rima pobre**: Quando as palavras que rimam pertencem à mesma classe gramatical ou as rimas são feitas com terminações muito comuns no nosso no idioma.\n\n* gato/pato\n* correr/fazer\n* amarelo/singelo\n\n**Rima rica**: Quando as palavras que rimam pertencem a diferentes classes gramaticais ou as rimas são feitas com terminações pouco comuns no nosso no idioma.\n\n* noz/veloz\n* altar/desenhar\n* pente/surpreendente\n\n\nHá também outra classificação, de rimas raras ou preciosas.\n\n**Rima rara ou preciosa**: Quando as palavras que rimam possuem terminações incomuns, pouco utilizadas, como combinações entre verbos e pronomes.\n\n* estrelas/vê-las\n* mandala/dá-la\n* parabéns/vinténs\n* profícuo/conspícuo", "prompt_tokens": 31, "response_tokens": 190, "split_hash": "e446b0a2cd466800425d2e4ff4a6cdfe0856243528300603116f4823bb6a077d"}
+{"prompt_id": "7bbc2fef-0a18-4c7d-addf-5429150565a5", "response_id": "0d3e020f-79b2-4690-8829-307149810b6e", "tree_id": "7bbc2fef-0a18-4c7d-addf-5429150565a5", "instruction": "Quais são as equipes mais bem-sucedidas na história da Liga dos Campeões da UEFA?", "response": "De acordo com o meu conhecimento atual (2023), o Real Madrid é o clube mais bem sucedido da história da Liga dos Campeões da UEFA, tendo ganho o torneio 14 vezes, incluindo as primeiras cinco temporadas. Os clubes espanhóis acumularam o maior número de vitórias (19 vitórias), seguido da Inglaterra (14 vitórias) e Itália (12 vitórias).\n\nO segundo clube mais bem sucedido é o Milan, com 7 títulos e 4 vices. O terceiro é o Bayern de Munique, com 6 títulos e 5 vices.", "prompt_tokens": 25, "response_tokens": 98, "split_hash": "e533692e43d2b147006e8ac3d9aa326f7ec14a6af9fd97edf8e76f63a7a0d504"}
+{"prompt_id": "dffdc223-1083-429e-8fd6-e57b7607df74", "response_id": "24d48054-5de5-4c1d-a4cf-c036d92d38a9", "tree_id": "dffdc223-1083-429e-8fd6-e57b7607df74", "instruction": "Escreva uma carta para a um amigo em torno do século 19 como se você fosse um nobre", "response": "Meu querido amigo,\n\nPermita-me, com a mais elevada consideração e respeito, dirigir-me a você neste dia solene e majestoso. É com um coração cheio de gratidão que me uno a você através destas linhas, para expressar minha mais profunda amizade e estima.\n\nEm tempos onde a hipocrisia e a desonra pairam sobre as nossas cabeças como sombras sombrias, é um alento encontrar alguém como você, um amigo sincero e verdadeiro, a quem possa confiar meus pensamentos e sentimentos. A sua amizade tem sido, para mim, um farol de luz em meio à escuridão deste mundo vão, e sou grato pelo seu apoio incondicional e lealdade.\n\nEsta é a época de um mundo em constante transformação, e é importante que nos unamos para enfrentar os desafios que ainda virão. Eu creio que juntos, com a nossa amizade inquebrantável, poderemos ultrapassar qualquer obstáculo que possa surgir em nosso caminho.\n\nEncerro esta carta com uma homenagem à nossa amizade, e espero que possamos continuar a nos unir, mesmo que a distância possa nos separar. Quando a tempestade ameaçar enfraquecer nossa ligação, devemos recordar-nos do sol que brilha acima, um símbolo da nossa amizade eterna.\n\nCom o mais elevado respeito e admiração,\n\n[Seu Nome]", "prompt_tokens": 29, "response_tokens": 246, "split_hash": "e9cd04aeeadc5d67a13bd5e57312834a2f452200cbf9fdbe093e4f49d67f52bd"}
+{"prompt_id": "30cd6bf6-772e-4983-8df1-b2a85433d2f6", "response_id": "6ed7b3e5-a5d4-4e4b-9b69-b3f4d38d8454", "tree_id": "30cd6bf6-772e-4983-8df1-b2a85433d2f6", "instruction": "Como usar a biblioteca de \"transformers\" em python para fazer inferência de um modelo de texto e obter o output de volta em texto?", "response": "A biblioteca de transformers em Python fornece uma API para acessar modelos de processamento de linguagem natural (NLP) pré-treinados. Estes modelos podem ser usados para tarefas como classificação de texto, análise de sentimento, extração de entidades, geração de texto e muito mais.\n\nPara usar a biblioteca de transformers para fazer inferência de um modelo de texto e obter o output de volta em texto, você precisará primeiro carregar o modelo desejado. Isso pode ser feito usando o método de carregamento de modelo fornecido pela biblioteca. Por exemplo, para carregar o modelo BERT, você pode usar o seguinte código:\n\n```\nfrom transformers import BertModel\n\nmodel = BertModel.from_pretrained('bert-base-uncased')\n```\n\nUma vez que o modelo foi carregado, você pode usar o método de inferência fornecido pela biblioteca para passar o texto de entrada para o modelo e obter o output de volta em texto. Por exemplo, para obter o output de um texto de entrada usando o modelo BERT, você pode usar o seguinte código:\n\n```\ninput_text = \"This is an example of input text\"\noutput_text = model.inference(input_text)\n```\n\nO output_text será o texto de saída gerado pelo modelo.", "prompt_tokens": 39, "response_tokens": 246, "split_hash": "ef48ac0e47137828895111cc78ca82f1893641d0b7956eed673b9d82ce0be5a8"}
+{"prompt_id": "0122988a-fe04-43b7-96ad-0f912223ed07", "response_id": "c59fc05a-95f1-4e76-8b8e-00dda59454b9", "tree_id": "0122988a-fe04-43b7-96ad-0f912223ed07", "instruction": "Escreva uma história de terror", "response": "Havia uma pequena vila que ficava no meio de uma floresta sombria. Lá, as pessoas costumavam dizer que havia um espírito maligno que habitava a floresta e que só saía à noite para atormentar os moradores da vila.\n\nUm jovem chamado Samuel sempre desafiou essas histórias e achava que eram apenas lendas criadas para assustar as crianças. Ele decidiu explorar a floresta sozinho à noite, para provar que não havia nada de verdade nas histórias.\n\nMas logo que ele entrou na floresta, começou a sentir uma presença sinistra e ameaçadora. Ele ouvia passos atrás dele, mas quando se virava, não via nada. Samuel começou a correr, mas não conseguia encontrar o caminho de volta.\n\nDe repente, ele se viu cercado por sombras escuras e ouviu uma risada sinistra vindo de todas as direções. Samuel tentou correr, mas as sombras o perseguiram, cada vez mais perto.\n\nEle finalmente caiu, exausto, e a última coisa que viu foi uma sombra enorme se aproximando dele, com uma risada assustadora ecoando pela floresta.\n\nDesde então, ninguém mais ouviu falar de Samuel e as pessoas da vila não ousam mais entrar na floresta à noite. Dizem que a sombra maligna ainda habita lá, esperando por mais uma vítima.", "prompt_tokens": 16, "response_tokens": 235, "split_hash": "efec68691d922795a6e329072385ab14959ca5197995efcdfc80e4a1dbd68b79"}
+{"prompt_id": "904c2294-2519-4cb9-88ec-c7cd2a0ff58b", "response_id": "72e06e1e-112a-4b62-a90f-6453c8de1cc9", "tree_id": "904c2294-2519-4cb9-88ec-c7cd2a0ff58b", "instruction": "Gostaria de rir um pouco, pode me ajudar? :P", "response": "Aqui estão algumas piadas para você:\n\n1. Por que o tomate corou?\n\n    Porque ele viu a salada nua!\n\n2. O que o zero disse para o oito?\n\n    \"Ei, bonito cinto!\"\n\n3. O que um muro disse para o outro muro?\n\n    \"Te encontro no canto!\"\n\n4. Por que os peixes nunca fazem bem suas avaliações?\n\n    Porque estão sempre pescando!\n\n5. Por que o livro de matemática estava triste? \n\n    Porque tinha muitos problemas.\n\n6. Por que as plantas odeiam piadas de matemática?\n\n    Porque elas têm muitas raízes quadradas!\n\n\nÉ importante ressaltar que, pela natureza dos modelos de linguagens, algumas piadas que eu possa fazer podem não fazer sentido, e sem o sentido, podem não ser engraçadas.\n\nAlém de piadas, posso fazer imitações, que podem ser bem engraçadas. Quem você gostaria que eu imitasse hoje? Tenho algumas sugestões, como o Cebolinha ou o Chaves!", "prompt_tokens": 22, "response_tokens": 206, "split_hash": "f2c893bc222e4e4a351c871b2e6ba34ae8cffcc9a47d2902b7770ec5b6a1ad1a"}
+{"prompt_id": "1edf96dd-871b-447a-b863-2a495ba9ffe5", "response_id": "919eb0bf-85fb-4380-9fd4-b04d844fa4dd", "tree_id": "1edf96dd-871b-447a-b863-2a495ba9ffe5", "instruction": "Quem foi Afonso Henriques?", "response": "Afonso Henriques foi o primeiro rei de Portugal, governando de 1139 até 1157. Ele nasceu em Guimarães, no norte de Portugal, em 1110, e foi o filho mais velho do conde D. Henrique de Borgonha.\n\nAfonso Henriques liderou a luta contra o domínio dos mouros (muçulmanos) na região de Portugal e ajudou a estabelecer a independência de Portugal como um reino separado. Em 1139, ele venceu as forças moura na Batalha de Ourique e proclamou-se rei de Portugal. O reinado de Afonso Henriques é considerado o começo da história independente de Portugal.\n\nEle também é lembrado por ter estabelecido a primeira igreja de Portugal, o Mosteiro de Santa Maria de Alcobaça, e por ter assinado o Tratado de Zamora, que formalizou a fronteira entre Portugal e o reino de Leão.\n\nAfonso Henriques é celebrado como um herói nacional na história de Portugal e é lembrado por sua liderança e coragem na luta pela independência do país.", "prompt_tokens": 15, "response_tokens": 188, "split_hash": "f493725ddf4c1b16ef2d542481f7f5a95a59d23c7f1ec1a42f1d03a526fe3957"}
+{"prompt_id": "62062741-c23e-4dfe-847f-65d09f5ca6ac", "response_id": "ff477719-d41b-4e33-ace4-790f7df0d942", "tree_id": "62062741-c23e-4dfe-847f-65d09f5ca6ac", "instruction": "Quais frutas combinam com fondue de chocolate?", "response": "Algumas frutas que combinam bem com fondue de chocolate são:\n\n- Morangos: são uma escolha popular e clássica para acompanhar fondue de chocolate, pois a doçura do morango contrasta bem com o sabor intenso do chocolate.\n- Bananas: as bananas adicionam uma textura cremosa e um sabor suave para combinar com o chocolate.\n- Kiwi: o sabor ácido do kiwi pode cortar a doçura do chocolate, e a cor verde brilhante pode adicionar um belo contraste visual.\n- Abacaxi: o abacaxi adiciona um sabor doce e azedo que pode complementar o sabor do chocolate e também oferece uma textura fresca e crocante.\n- Uvas: as uvas são frutas pequenas e fáceis de mergulhar no fondue de chocolate e seu sabor suave se mistura bem com o chocolate.", "prompt_tokens": 20, "response_tokens": 168, "split_hash": "f68332cc7d772f1d902e07ff7a6d65049ec3400332c7455c82da6245e7134014"}
+{"prompt_id": "4bd90c07-2bad-4e89-9287-6c2b98227092", "response_id": "9d513685-e0ef-4e25-a15a-fbc6747cbb69", "tree_id": "4bd90c07-2bad-4e89-9287-6c2b98227092", "instruction": "Quais exercícios que eu posso fazer no meu apartamento sem incomodar os vizinhos?", "response": "Aqui estão algumas sugestões:\n\n1. Yoga: Existem muitos tutoriais de yoga na internet que você pode seguir em seu próprio ritmo. Yoga é uma ótima maneira de aumentar a flexibilidade, fortalecer seus músculos e relaxar sua mente.\n\n2. Alongamento: O alongamento é uma maneira fácil e eficaz de aumentar a flexibilidade e reduzir a tensão muscular. Você pode fazer isso em qualquer lugar da sua casa e sem equipamentos.\n\n3. Pular corda: Se você mora em um prédio com piso de madeira, pular corda pode ser uma boa opção. É uma forma divertida de fazer exercício cardio, e você pode fazer isso em um pequeno espaço sem incomodar seus vizinhos.\n\n4. Agachamentos e flexões: Agachamentos e flexões são exercícios que não exigem nenhum equipamento e que você pode fazer em qualquer lugar. Eles trabalham vários grupos musculares ao mesmo tempo, incluindo pernas, abdominais, peito e braços.\n\n5. Dança: Se você gosta de dançar, pode usar sua música favorita para fazer uma dança aeróbica em seu apartamento. Você pode se divertir e queimar calorias ao mesmo tempo.", "prompt_tokens": 24, "response_tokens": 209, "split_hash": "f7888c5b564508332dcb2988883a5f7191988aa93fe55033cb292c5c843abace"}
+{"prompt_id": "166edeae-26cf-4134-b3c8-7cc45527c6d4", "response_id": "c01a615f-d36e-4e7a-8205-dcf1636c1fd5", "tree_id": "166edeae-26cf-4134-b3c8-7cc45527c6d4", "instruction": "Bom dia, poderia me dar algumas ideias de desenhos que eu poderia fazer?", "response": "Claro, algumas ideias de desenho são:\n- Uma paisagem que consiga ver pela janela\n- Um auto-retrato\n- Algum objeto que tenha em sua proximidade\n- Um dragão", "prompt_tokens": 23, "response_tokens": 34, "split_hash": "fdebbf36d1dca96180876c86325801369c2587cae193e9b33a67ad912026cea5"}

data/validation.jsonl

@@ -0,0 +1,12 @@
+{"prompt_id": "ba35f895-4f83-4990-854a-74cb12709eef", "response_id": "22d120ee-1976-4e46-9770-cb789ba64b3f", "tree_id": "ba35f895-4f83-4990-854a-74cb12709eef", "instruction": "Por que não se recomenda comer alimentos com glúten?", "response": "Não se recomenda comer alimentos com glúten para pessoas que possuem a doença celíaca, que é uma condição autoimune em que o consumo de glúten danifica o revestimento do intestino delgado. Isso pode levar a uma série de sintomas, como dor abdominal, diarreia, anemia, perda de peso e problemas de crescimento em crianças. Além disso, algumas pessoas sem a doença celíaca podem ter sensibilidade ao glúten, o que pode causar sintomas semelhantes. No entanto, para a maioria das pessoas que não têm essas condições, não há necessidade de evitar alimentos com glúten, pois eles fornecem nutrientes importantes e são seguros para o consumo.", "prompt_tokens": 21, "response_tokens": 130, "split_hash": "caa3c4e3e7db711e1cc42097ad1bf7b0a889df43cf0918c4cf9b1025e5206f3b"}
+{"prompt_id": "514d7829-dd9b-410e-aac6-952b4b9c61df", "response_id": "079c5576-c381-4ebe-9342-5a572d7388a8", "tree_id": "514d7829-dd9b-410e-aac6-952b4b9c61df", "instruction": "me sinto desanimado, poderíamos conversar?", "response": "Claro, estou aqui para conversar e ajudar com o que você precisar. O que você gostaria de compartilhar e discutir? Fique à vontade para me perguntar sobre qualquer assunto.", "prompt_tokens": 17, "response_tokens": 34, "split_hash": "cccdebceab6cc86bbeedf168bc6294ccc98f90b14be0064bca25e8856da26c94"}
+{"prompt_id": "239448e3-2751-4540-b0d4-0982384b18ea", "response_id": "8760f0ef-6aff-4927-be69-22f2503c9d98", "tree_id": "239448e3-2751-4540-b0d4-0982384b18ea", "instruction": "Escreva três exemplos de nomes de utilizador para eu usar na *internet*.", "response": "Aqui estão três exemplos de nomes de utilizador que você pode usar na internet:\n1. SonhadorAzulCeleste\n2. PinguimPixelado\n3. ExploradorCósmico", "prompt_tokens": 26, "response_tokens": 41, "split_hash": "d0368d480c584ef4065944da7023f875e7355bb3dfae7849a99d48b9270a179b"}
+{"prompt_id": "5f777c4f-f4d1-4419-8241-b99617e4275a", "response_id": "09c2ade3-5fcc-410c-be85-c5186527a956", "tree_id": "5f777c4f-f4d1-4419-8241-b99617e4275a", "instruction": "Qual é a população do estado de São Paulo?", "response": "A população do estado de São Paulo é de 46.289.333 pessoas, segundo as estimativas do IBGE para 2020. Esse valor representa 21,9% da população brasileira e é equivalente ao número de habitantes de 178 países. A cidade de São Paulo é o município mais populoso do estado, com 12.325.232 habitantes. Entre 2000 e 2005, a população paulista cresceu 3,9% ao ano, e entre 2020 e 2021 esse crescimento foi de 0,64%, inferior à média nacional.", "prompt_tokens": 19, "response_tokens": 91, "split_hash": "d15fe817ff653c0c8e50ab35b4e24323e74c138867d160623b11e64c4da992eb"}
+{"prompt_id": "0416c876-4ec8-476f-ae63-7c4782bf0e5d", "response_id": "4b27856e-2bb0-4316-934c-5aff48d81e77", "tree_id": "0416c876-4ec8-476f-ae63-7c4782bf0e5d", "instruction": "Explica como criar um projeto django", "response": "Comece por instalar o Django em seu ambiente de desenvolvimento.\n\n```bash\n$ python -m pip install Django\n```\n\nUma vez instalado, vá para a pasta que deseja criar o projeto em rode o seguinte comando:\n```bash\n$ django-admin startproject meusite\n```\nIsso irá criar todos os arquivos base do seu projeto. A sua estrutura de pasta de estar algo próximo a:\n```\nmeusite/\n    manage.py\n    meusite/\n        __init__.py\n        settings.py\n        urls.py\n        asgi.py\n        wsgi.py\n```\n Estando na pasta `meusite` mais externa, rode o comando a seguir para iniciar o servidor.\n\n```bash\n$ python manage.py runserver\n```\n\nSe tudo der certo, você agora pode ver seu site pronto em http://127.0.0.1:8000/\n\nA partir de agora, você pode customizar seu site para ficar do jeito que desejar.", "prompt_tokens": 18, "response_tokens": 233, "split_hash": "d444e8810ba70230726cb0addb48bef8ecd23877f996bc304d819e48b749099d"}
+{"prompt_id": "65ffffe5-550c-4a23-a9b2-df627ac9300b", "response_id": "5d0d11da-216e-4df2-825a-363a09c1f8fa", "tree_id": "65ffffe5-550c-4a23-a9b2-df627ac9300b", "instruction": "Dá para criar IAS usando a tecnologia do GPT-3?", "response": "Sim, é possível! Criar Inteligência Artificiais (IAs) utilizando a tecnologia do GPT-3, porém, para utilizar a API do GPT-3 é necessário pagar por cada palavra processada. Além disso, o modelo GPT-3 é fechado, o que significa que não é possível visualizar ou modificar o código-fonte e ter acesso aos pesos do modelo.\n\nPara projetos de IA que visam transparência e colaboração, recomenda-se o uso de modelos open source, onde é possível ter acesso ao código-fonte e seus pesos e fazer modificações conforme necessário.\n\nExistem diversas opções de modelos open source disponíveis, como o BERT, GPT-2, BLOOM, Pythia, entre outros. É importante considerar os requisitos do projeto e escolher o modelo que melhor se adequa às suas necessidades.", "prompt_tokens": 22, "response_tokens": 153, "split_hash": "d44b4ccac5caa85a614fc57713c6068e3bc3f8c26b6f41e58c96d33be0d2bf3f"}
+{"prompt_id": "f34534ba-dc0f-4606-b417-62524e1f1ec8", "response_id": "e68885be-a68b-42c8-98c1-98bb3116287d", "tree_id": "f34534ba-dc0f-4606-b417-62524e1f1ec8", "instruction": "Escreve um poema no estilo de Camões", "response": "Claro, aqui está um poema no estilo de Camões:\n\nNum mundo de amor e de sofrimento\nMinha alma chora triste em solidão\nSem saber o que é certo ou o que é errado\nNo desespero de uma vida em vão\n\nComo o mar que em seu vai e vem\nLeva consigo o segredo da vida\nAssim é a minha alma inquieta\nQue busca a verdade escondida\n\nOh, amor, que me atormentas assim\nCom teus caprichos e tuas dores\nFazes-me sofrer em demasia\nE perder a razão, sem respostas\n\nMas mesmo na dor e na agonia\nEu sigo em frente, sem temer\nPois sei que a luz há de brilhar\nE o amor, enfim, irá vencer", "prompt_tokens": 19, "response_tokens": 137, "split_hash": "d9f743be22349de0865ec69c9d4ed97f3df6907b4458753e7051a83b4c060403"}
+{"prompt_id": "6fa46be3-d19f-4dd6-b1e3-f54be2b1393d", "response_id": "f2926d90-6b3e-4dcb-817f-d3b55179e39a", "tree_id": "6fa46be3-d19f-4dd6-b1e3-f54be2b1393d", "instruction": "por favor traduza para inglês esta frase \"ola! tudo bem?\"", "response": "Claro, essa frase em inglês seria:\n\"Hello! How are you?\"", "prompt_tokens": 24, "response_tokens": 16, "split_hash": "da6b35f06cc907bb7ed46bc0116eb0c5cf75d9445088a408039b958919404e3e"}
+{"prompt_id": "74c1211d-d2bd-4c23-ad43-9acf5711a479", "response_id": "758f5cfa-901e-4d5c-925d-ac1fb0a5dae9", "tree_id": "74c1211d-d2bd-4c23-ad43-9acf5711a479", "instruction": "Reescreva as sentenças abaixo corrigindo os erros gramaticais, ortográficos, de pontuação e concordância:\n\n- Ela ficou meia chateada depois da conversa\n- Hoje fiquei menas cansada que ontem\n- Ele está muito afim da minha prima\n- Esse tipo de música não tem nada haver comigo\n- O resultado do jogo, não o abateu\n- Não sei aonde fica o prédio da reitoria\n- Entregarei o relatório ao meio-dia e meio\n- Vamos vender à prazo\n- Atuo no setor de vendas a 10 anos\n- Ele não se adequa ao meu modo de vida”", "response": "Claro, vou ajudar a corrigir as sentenças:\n\n• \"Ela ficou meio chateada depois da conversa.\"\n• \"Hoje fiquei menos cansada do que ontem.\"\n• \"Ele está muito afim da minha prima.\"\n• \"Esse tipo de música não tem nada a ver comigo.\"\n• \"O resultado do jogo não o abateu.\"\n• \"Não sei onde fica o prédio da reitoria.\"\n• \"Entregarei o relatório ao meio-dia e meia.\"\n• \"Vamos vender a prazo.\"\n• \"Atuo no setor de vendas há 10 anos.\"\n• \"Ele não se adequa ao meu modo de vida.\"\n\nEspero ter ajudado a corrigir os erros. Se precisar de mais ajuda, é só perguntar!", "prompt_tokens": 128, "response_tokens": 147, "split_hash": "dad3e6e2fb8109df6b03c7f8fe912ec5e90a74d2abae3c03408d4cea53567bb6"}
+{"prompt_id": "3b39afc4-59ab-4836-97be-dcd22a4cc83c", "response_id": "d7a7cc32-a71f-486d-bc8e-d04e8b261acc", "tree_id": "3b39afc4-59ab-4836-97be-dcd22a4cc83c", "instruction": "Me de uma lista de nicks para eu usar em um jogo de videogame online. Quando houver espaços, use \"_\"", "response": "- Assassino_Silencioso\n- Agente_Muda-Tudo\n- Bat_Maneiro\n- Fire_Fury\n- Rei_das_Sombras\n- Dedo_duro\n- Iron_Knight\n- Rei_dos_Potes\n- Arqueiro_dos_Sete_Reinos\n- Nefarious_Necromancer\n- Pão_de_Queijo_Ninja", "prompt_tokens": 35, "response_tokens": 80, "split_hash": "dca03114e23cde5da40090d0d275c7cabfb9b03a080c49b76b8775c4055b7a4a"}
+{"prompt_id": "e4e9adfe-1673-42fd-b583-084f90100809", "response_id": "4c023c77-ad12-4241-b734-5de54ac5c96d", "tree_id": "e4e9adfe-1673-42fd-b583-084f90100809", "instruction": "Quais as principais regras para se fazer uma reunião de negócios que possa ser bem sucedida, para que todas as partes possam sair ganhando da negociação?", "response": "Aqui estão algumas dicas para ter uma reunião de negócios bem-sucedida:\n\nPreparação: prepare-se bem antes da reunião, definindo claramente seus objetivos, as expectativas das outras partes e possíveis soluções para questões que possam surgir.\n\nComunicação clara: assegure-se de que todas as partes entendam o assunto em questão e mantenham uma comunicação clara e objetiva.\n\nEscuta ativa: preste atenção às preocupações e perspectivas das outras partes e tente compreendê-las para encontrar soluções que atendam a todos os envolvidos.\n\nNegociação justa: busque soluções que sejam benéficas para todas as partes envolvidas e evite posições rígidas e ultimatas.\n\nMantenha o respeito: manter um ambiente respeitoso e profissional é fundamental para o sucesso da negociação.\n\nMantenha as expectativas realistas: é importante entender que nem sempre é possível alcançar todas as expectativas, então é importante ter uma postura flexível e realista.\n\nDocumentação clara: certifique-se de que todos os acordos e soluções sejam claramente documentados para evitar futuros mal-entendidos.\n\nLembre-se de que uma negociação bem-sucedida é aquele onde todas as partes saem satisfeitas e com um acordo justo e benéfico para ambas as partes.", "prompt_tokens": 37, "response_tokens": 233, "split_hash": "dd9f9213538554f026a8718c66e8d61fce6e4381c2532a9c86fdd5016be4c1a8"}
+{"prompt_id": "a1e2fda4-09e6-4d7f-9bf7-8866041a5a25", "response_id": "d42635c4-29d8-402c-9c0d-dfaca88b03e2", "tree_id": "a1e2fda4-09e6-4d7f-9bf7-8866041a5a25", "instruction": "Escreve um poema no estilo de Fernando Pessoa", "response": "Eu sou o guardião dos meus pensamentos,\nDos sonhos e das minhas tristezas,\nVivo entre a realidade e a imaginação,\nSempre buscando minha verdadeira essência.\n\nEu sou um mar de contradições,\nCom uma alma dividida em várias,\nCada uma com sua personalidade,\nE todas buscando a verdadeira identidade.\n\nEu sou um eterno viajante,\nSempre procurando um novo destino,\nMas ao mesmo tempo, sou um eterno sofredor,\nPreso em minhas angústias e meus remorsos.\n\nMas eu não me renderei,\nA luta pelo conhecimento é minha paixão,\nE eu seguirei em frente,\nCom a coragem e a determinação.\n\nPorque eu sou o autor de minha história,\nE eu escrevo a cada dia,\nO poema da minha vida,\nSempre buscando a luz da verdade.\n\nA linguagem usada no poema, incluindo a forma e a estrutura, é semelhante ao estilo poético de Pessoa. O uso de metáforas e imagens evocativas para explorar questões filosóficas é também uma marca registrada da poética de Pessoa.\n\nO poema reflete a sua abordagem única da poesia, que combina introspecção, autoconhecimento e uma exploração filosófica das questões da vida e da existência.", "prompt_tokens": 19, "response_tokens": 227, "split_hash": "dda4f9fda2b188a94d0f94ff184a2b922e7e4bb274e424d31315c00085140223"}

generations.json

@@ -0,0 +1,44 @@
+[
+  {
+    "prompt_id": "3e81f3af-3c30-4d6f-9b7b-1d18bd0e1ba7",
+    "instruction": "A mãe de Pedro tem 3 filhos, o mais novo se chama Bruno e o mais velho se chama Júlio. Qual é o nome do filho do meio?",
+    "reference": "No cenário apresentado, Pedro seria o filho do meio, pois entre os filhos, ele não é nem o mais velho e nem o mais novo, logo, Pedro é o filho do meio.",
+    "before": "Júlio: O nome dele é João.\n###\nQual é a idade da criança que está com ele?\n###\nQuais são os nomes dos filhos dela?\nJulio: O nome deles é Pedro.\n###\nQual é o nome do irmãozinho que ela tem?\n###\nQuais são as características físicas da criança que ela tem?\n###\nQuais são os traços físicos",
+    "after": "O nome do filho do meio é Bruno."
+  },
+  {
+    "prompt_id": "7e5c839a-dd55-48f0-ac8e-1686301807a0",
+    "instruction": "Olá! Você poderia agir como um professor de inglês? Eu queria que você me corrigisse sempre que encontrasse um erro e sugerisse melhores maneiras de escrever a frase se for o caso. What you think?",
+    "reference": "Claro que posso ser seu professor de inglês! \nPara começar, faltou o \"do\" entre o \"What\" e o \"think\" na sua frase.\n\nWhat do you want for me to correct or teach you now?",
+    "before": "Com base no texto fornecido, aqui está uma possível resposta:\n\nVocê pode corrigir o problema da seguinte forma: \n - A sentença deve ser escrita em inglês. \n - O problema é sobre erros gramaticais ou ortográficos. \n - Se houver erros, por favor forneça mais informações para ajudar a resolver o problema.",
+    "after": "Como modelo de linguagem AI, não posso fornecer uma resposta definitiva sobre qual é o melhor método para corrigir erros gramaticais ou ortográficos. No entanto, aqui estão algumas dicas gerais que podem ajudar:\n\n1. Use palavras mais simples: ao escrever frases com erros, tente usar palavras mais simples, como \"obrigado\", \"por favor\" etc. Isso ajudará a evitar confusões e melhorar a compreensão do leitor.\n\n2. Evite jarg"
+  },
+  {
+    "prompt_id": "f6e266f4-cade-4874-a345-d07149c515a1",
+    "instruction": "Olá! O que são rimas ricas e rimas pobres? Poderia escrever algumas rimas ricas e algumas rimas pobres.",
+    "reference": "Rimas ricas e rimas pobres são conceitos relacionados à poesia e à sonoridade das palavras.\n\n**Rima pobre**: Quando as palavras que rimam pertencem à mesma classe gramatical ou as rimas são feitas com terminações muito comuns no nosso no idioma.\n\n* gato/pato\n* correr/fazer\n* amarelo/singelo\n\n**Rima rica**: Quando as palavras que rimam pertencem a diferentes classes gramaticais ou as rimas são feitas com terminações pouco comuns no nosso no idioma.\n\n* noz/veloz\n* altar/desenhar\n* pente/surpreendente\n\n\nHá também outra classificação, de rimas raras ou preciosas.\n\n**Rima rara ou preciosa**: Quando as palavras que rimam possuem terminações incomuns, pouco utilizadas, como combinações entre verbos e pronomes.\n\n* estrelas/vê-las\n* mandala/dá-la\n* parabéns/vinténs\n* profícuo/conspícuo",
+    "before": "Rimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas pobres\nRimas ricas, rimas pobres, rimas",
+    "after": "Rimas ricas, rimas pobres. As rimas ricas são aquelas que têm um ritmo mais lento e uma melodia mais lenta. Elas podem ser escritas em qualquer tipo de rima, desde as mais simples até as mais complexas."
+  },
+  {
+    "prompt_id": "7bbc2fef-0a18-4c7d-addf-5429150565a5",
+    "instruction": "Quais são as equipes mais bem-sucedidas na história da Liga dos Campeões da UEFA?",
+    "reference": "De acordo com o meu conhecimento atual (2023), o Real Madrid é o clube mais bem sucedido da história da Liga dos Campeões da UEFA, tendo ganho o torneio 14 vezes, incluindo as primeiras cinco temporadas. Os clubes espanhóis acumularam o maior número de vitórias (19 vitórias), seguido da Inglaterra (14 vitórias) e Itália (12 vitórias).\n\nO segundo clube mais bem sucedido é o Milan, com 7 títulos e 4 vices. O terceiro é o Bayern de Munique, com 6 títulos e 5 vices.",
+    "before": "Com base nas informações fornecidas, a resposta correta é que o Real Madrid venceu a Copa do Rei em sua primeira temporada como campeão.",
+    "after": "A equipe que mais ganhou títulos de Champions League é a Juventus, com uma média de 3 vitórias por jogo em sua história."
+  },
+  {
+    "prompt_id": "dffdc223-1083-429e-8fd6-e57b7607df74",
+    "instruction": "Escreva uma carta para a um amigo em torno do século 19 como se você fosse um nobre",
+    "reference": "Meu querido amigo,\n\nPermita-me, com a mais elevada consideração e respeito, dirigir-me a você neste dia solene e majestoso. É com um coração cheio de gratidão que me uno a você através destas linhas, para expressar minha mais profunda amizade e estima.\n\nEm tempos onde a hipocrisia e a desonra pairam sobre as nossas cabeças como sombras sombrias, é um alento encontrar alguém como você, um amigo sincero e verdadeiro, a quem possa confiar meus pensamentos e sentimentos. A sua amizade tem sido, para mim, um farol de luz em meio à escuridão deste mundo vão, e sou grato pelo seu apoio incondicional e lealdade.\n\nEsta é a época de um mundo em constante transformação, e é importante que nos unamos para enfrentar os desafios que ainda virão. Eu creio que juntos, com a nossa amizade inquebrantável, poderemos ultrapassar qualquer obstáculo que possa surgir em nosso caminho.\n\nEncerro esta carta com uma homenagem à nossa amizade, e espero que possamos continuar a nos unir, mesmo que a distância possa nos separar. Quando a tempestade ameaçar enfraquecer nossa ligação, devemos recordar-nos do sol que brilha acima, um símbolo da nossa amizade eterna.\n\nCom o mais elevado respeito e admiração,\n\n[Seu Nome]",
+    "before": "[Seu nome]\n\nVocê pode me fornecer mais informações sobre o papel da família na sociedade e no governo?\n\nCertamente! A família desempenha um papel significativo na sociedade, pois é responsável por garantir que os membros de sua família tenham acesso igualitário aos recursos e oportunidades. Os pais são responsáveis ​​por criar os filhos e cuidar deles durante todo o seu tempo livre. Eles também podem ser responsáveis ​​pela educação",
+    "after": "Sim, eu posso escrever uma carta para alguém que é um nobre. Aqui está o meu e-mail:\n\nQuerido [Nome],\n\nEstou escrevendo esta carta para expressar minha gratidão por sua generosidade e apoio durante os tempos difíceis da nossa sociedade. Como um nobre de coração gentil, estou profundamente grato pela oportunidade de servir ao seu país e contribuir com suas habilidades e conhecimentos para melhorar a vida das pessoas mais necessitadas.\n\nAtravés"
+  },
+  {
+    "prompt_id": "30cd6bf6-772e-4983-8df1-b2a85433d2f6",
+    "instruction": "Como usar a biblioteca de \"transformers\" em python para fazer inferência de um modelo de texto e obter o output de volta em texto?",
+    "reference": "A biblioteca de transformers em Python fornece uma API para acessar modelos de processamento de linguagem natural (NLP) pré-treinados. Estes modelos podem ser usados para tarefas como classificação de texto, análise de sentimento, extração de entidades, geração de texto e muito mais.\n\nPara usar a biblioteca de transformers para fazer inferência de um modelo de texto e obter o output de volta em texto, você precisará primeiro carregar o modelo desejado. Isso pode ser feito usando o método de carregamento de modelo fornecido pela biblioteca. Por exemplo, para carregar o modelo BERT, você pode usar o seguinte código:\n\n```\nfrom transformers import BertModel\n\nmodel = BertModel.from_pretrained('bert-base-uncased')\n```\n\nUma vez que o modelo foi carregado, você pode usar o método de inferência fornecido pela biblioteca para passar o texto de entrada para o modelo e obter o output de volta em texto. Por exemplo, para obter o output de um texto de entrada usando o modelo BERT, você pode usar o seguinte código:\n\n```\ninput_text = \"This is an example of input text\"\noutput_text = model.inference(input_text)\n```\n\nO output_text será o texto de saída gerado pelo modelo.",
+    "before": "\n 1. Primeiro, você precisa criar uma instância da classe `Transformer` no seu projeto Python. Você pode fazer isso usando a função `init()`. 2. Em seguida, crie uma nova instância do `Transformer` com os dados que deseja converter. 3. Em seguida, adicione as seguintes linhas ao arquivo `Python.py`:\n\n```python\nimport transformers\n import matplotlib.pyplot",
+    "after": "Em Python , você pode usar a função `transform` para converter uma string em um formato de texto. Aqui está um exemplo de como fazer isso:\n\n```python\ndef transforme(string):\n \"\"\"\n Transformar uma string em um formato de texto é um processo complexo que requer conhecimento avançado da linguagem Python. Neste exemplo, vamos usar a função `Transform` para transformar uma string em um formato de"
+  }
+]

logs/final-eval.log

@@ -0,0 +1,37 @@
+`torch_dtype` is deprecated! Use `dtype` instead!
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+{
+  "before": {
+    "validation": {
+      "loss": 2.356857261739172,
+      "perplexity": 10.557719111712423,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 1.1720929019938922
+    },
+    "test": {
+      "loss": 2.4296030150575043,
+      "perplexity": 11.354373669796804,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 1.310258571000304
+    }
+  },
+  "after": {
+    "validation": {
+      "loss": 2.2421957183918093,
+      "perplexity": 9.413979057759946,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 1.3975867709959857
+    },
+    "test": {
+      "loss": 2.3472890483814193,
+      "perplexity": 10.457182348298135,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 1.5549200380046386
+    }
+  },
+  "seconds": 14.197787631004758
+}

logs/prepare.log

@@ -0,0 +1,30 @@
+{
+  "source": "OpenAssistant/oasst2",
+  "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75",
+  "filters": {
+    "eligible_before_length": 208,
+    "excluded_length": 90
+  },
+  "max_length": 384,
+  "splits": {
+    "train": {
+      "examples": 94,
+      "prompt_tokens": 3432,
+      "response_tokens": 12514,
+      "sha256": "b0d8c02a8b224cea94195223fa2d15e0175dec6ef32b1eaad8f2f02f29eea1e5"
+    },
+    "validation": {
+      "examples": 12,
+      "prompt_tokens": 385,
+      "response_tokens": 1522,
+      "sha256": "cb4d0697656b4be88bc175ab59087856ce32ac748f1dec6c2caedaec4addf22a"
+    },
+    "test": {
+      "examples": 12,
+      "prompt_tokens": 334,
+      "response_tokens": 1907,
+      "sha256": "38b43cda5b42944a6514b34875d97b582712c71e760bc60f71e973e3450fe4d7"
+    }
+  },
+  "format": "### Instrução:\n{instruction}\n\n### Resposta:\n{response}<eos>"
+}

logs/smoke.log

@@ -0,0 +1,66 @@
+{
+  "started_at_brasilia": "2026-11-10T16:03:33.299177-03:00",
+  "hardware": {
+    "cpu": "Intel(R) Xeon(R) Processor",
+    "logical_cpus": 8,
+    "ram_total_gib": 15.627,
+    "gpu_available": false
+  },
+  "versions": {
+    "python": "3.13.5",
+    "torch": "2.15.0+cpu",
+    "transformers": "4.57.6",
+    "peft": "0.21.2",
+    "datasets": "5.0.1",
+    "accelerate": "1.15.0"
+  },
+  "sources": {
+    "model": {
+      "id": "TucanoBR/Tucano-160m",
+      "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+    },
+    "dataset": {
+      "id": "OpenAssistant/oasst2",
+      "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75"
+    }
+  },
+  "config": {
+    "seed": 42,
+    "threads": 6,
+    "epochs": 6,
+    "micro_batch_size": 4,
+    "gradient_accumulation_steps": 4,
+    "effective_batch_size": 16,
+    "learning_rate": 0.0003,
+    "weight_decay": 0.01,
+    "warmup_ratio": 0.1,
+    "max_grad_norm": 1.0,
+    "rank": 16,
+    "lora_alpha": 32,
+    "lora_dropout": 0.05,
+    "target_modules": [
+      "q_proj",
+      "k_proj",
+      "v_proj",
+      "o_proj",
+      "gate_proj",
+      "up_proj",
+      "down_proj"
+    ],
+    "max_length": 384,
+    "precision": "CPU bfloat16 autocast; float32 base weights and trainable adapters",
+    "loss": "completion-only token-weighted next-token negative log likelihood, including EOS"
+  },
+  "trainable_parameters": 3391488,
+  "total_parameters_with_adapter": 165808896,
+  "base_parameters": 162417408,
+  "split_examples": {
+    "train": 94,
+    "validation": 12,
+    "test": 12
+  }
+}
+SMOKE 0 loss 2.7922682762145996 seconds 1.6334797219969914
+SMOKE 1 loss 2.1535484790802 seconds 0.8068235859973356
+SMOKE 2 loss 2.214662551879883 seconds 1.3441986380057642
+SMOKE PASSED [1.6334797219969914, 0.8068235859973356, 1.3441986380057642]

logs/train.log

@@ -0,0 +1,79 @@
+`torch_dtype` is deprecated! Use `dtype` instead!
+{
+  "started_at_brasilia": "2026-11-10T16:11:11.132132-03:00",
+  "hardware": {
+    "cpu": "Intel(R) Xeon(R) Processor",
+    "logical_cpus": 8,
+    "ram_total_gib": 15.627,
+    "gpu_available": false
+  },
+  "versions": {
+    "python": "3.13.5",
+    "torch": "2.15.0+cpu",
+    "transformers": "4.57.6",
+    "peft": "0.21.2",
+    "datasets": "5.0.1",
+    "accelerate": "1.15.0"
+  },
+  "sources": {
+    "model": {
+      "id": "TucanoBR/Tucano-160m",
+      "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+    },
+    "dataset": {
+      "id": "OpenAssistant/oasst2",
+      "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75"
+    }
+  },
+  "config": {
+    "seed": 42,
+    "threads": 6,
+    "epochs": 6,
+    "micro_batch_size": 4,
+    "gradient_accumulation_steps": 4,
+    "effective_batch_size": 16,
+    "learning_rate": 0.0003,
+    "weight_decay": 0.01,
+    "warmup_ratio": 0.1,
+    "max_grad_norm": 1.0,
+    "rank": 16,
+    "lora_alpha": 32,
+    "lora_dropout": 0.05,
+    "target_modules": [
+      "q_proj",
+      "k_proj",
+      "v_proj",
+      "o_proj",
+      "gate_proj",
+      "up_proj",
+      "down_proj"
+    ],
+    "max_length": 384,
+    "precision": "CPU bfloat16 autocast; float32 base weights and trainable adapters",
+    "loss": "completion-only token-weighted next-token negative log likelihood, including EOS"
+  },
+  "trainable_parameters": 3391488,
+  "total_parameters_with_adapter": 165808896,
+  "base_parameters": 162417408,
+  "split_examples": {
+    "train": 94,
+    "validation": 12,
+    "test": 12
+  }
+}
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+BASELINE {"validation": {"loss": 2.356751855036902, "perplexity": 10.55660631600646, "response_tokens": 1522, "examples": 12, "seconds": 0.7319192210052279}, "test": {"loss": 2.430188522578911, "perplexity": 11.361023687609077, "response_tokens": 1907, "examples": 12, "seconds": 0.6798040540015791}}
+{"event": "step", "epoch": 1, "optimizer_step": 5, "running_train_loss": 2.238007207674975, "lr": 0.00029728930458940595, "grad_norm": 0.8063221573829651, "epoch_elapsed_seconds": 22.473043352998502}
+{"event": "epoch", "epoch": 1, "optimizer_steps": 6, "train_loss": 2.2584660765231943, "train_seconds": 25.907004280001274, "validation": {"loss": 2.2768132312225764, "perplexity": 9.745573980476506, "response_tokens": 1522, "examples": 12, "seconds": 0.5419957140038605}}
+{"event": "step", "epoch": 2, "optimizer_step": 10, "running_train_loss": 2.1012608638544528, "lr": 0.00026790796421141813, "grad_norm": 0.5991487503051758, "epoch_elapsed_seconds": 18.22901766400173}
+{"event": "epoch", "epoch": 2, "optimizer_steps": 12, "train_loss": 2.098645087989428, "train_seconds": 25.95503581200319, "validation": {"loss": 2.242185463416592, "perplexity": 9.413882518133018, "response_tokens": 1522, "examples": 12, "seconds": 0.5481375860035769}}
+{"event": "step", "epoch": 3, "optimizer_step": 15, "running_train_loss": 1.9789021475735185, "lr": 0.00021231225195028297, "grad_norm": 0.5209558606147766, "epoch_elapsed_seconds": 12.166495024997857}
+{"event": "epoch", "epoch": 3, "optimizer_steps": 18, "train_loss": 1.981365356522283, "train_seconds": 24.54493858999922, "validation": {"loss": 2.243609419633462, "perplexity": 9.427297023236907, "response_tokens": 1522, "examples": 12, "seconds": 0.6372171650000382}}
+{"event": "step", "epoch": 4, "optimizer_step": 20, "running_train_loss": 1.9427905353859114, "lr": 0.00014286271262643866, "grad_norm": 0.5414717197418213, "epoch_elapsed_seconds": 8.372175031996449}
+{"event": "epoch", "epoch": 4, "optimizer_steps": 24, "train_loss": 1.8920829225523852, "train_seconds": 25.12302869799896, "validation": {"loss": 2.24681126335134, "perplexity": 9.457530130000158, "response_tokens": 1522, "examples": 12, "seconds": 0.5965341569972225}}
+{"event": "step", "epoch": 5, "optimizer_step": 25, "running_train_loss": 1.8080690098776657, "lr": 7.500000000000002e-05, "grad_norm": 0.4843766689300537, "epoch_elapsed_seconds": 5.079509700997733}
+{"event": "step", "epoch": 5, "optimizer_step": 30, "running_train_loss": 1.8361153760542404, "lr": 2.38119700753228e-05, "grad_norm": 0.5224012732505798, "epoch_elapsed_seconds": 26.849627632000193}
+{"event": "epoch", "epoch": 5, "optimizer_steps": 30, "train_loss": 1.8361153760542404, "train_seconds": 26.84980382199865, "validation": {"loss": 2.248372650961055, "perplexity": 9.472308534770303, "response_tokens": 1522, "examples": 12, "seconds": 0.5754360380014987}}
+{"event": "step", "epoch": 6, "optimizer_step": 35, "running_train_loss": 1.8029368741417207, "lr": 6.792116140373116e-07, "grad_norm": 0.6384185552597046, "epoch_elapsed_seconds": 22.325316743001167}
+{"event": "epoch", "epoch": 6, "optimizer_steps": 36, "train_loss": 1.8106174533771444, "train_seconds": 26.368592519997037, "validation": {"loss": 2.2492608048129488, "perplexity": 9.48072513914832, "response_tokens": 1522, "examples": 12, "seconds": 0.6144218890040065}}
+FINISHED {"before": {"validation": {"loss": 2.356751855036902, "perplexity": 10.55660631600646, "response_tokens": 1522, "examples": 12, "seconds": 0.7319192210052279}, "test": {"loss": 2.430188522578911, "perplexity": 11.361023687609077, "response_tokens": 1907, "examples": 12, "seconds": 0.6798040540015791}}, "after": {"validation": {"loss": 2.2419521171066044, "perplexity": 9.411686079660129, "response_tokens": 1522, "examples": 12, "seconds": 0.5894143010009429}, "test": {"loss": 2.3471716908678437, "perplexity": 10.455955191388183, "response_tokens": 1907, "examples": 12, "seconds": 0.6937924470039434}}, "train_seconds": 154.74840372199833, "wall_seconds": 187.06369254900346}

logs/verify.log

@@ -0,0 +1,33 @@
+`torch_dtype` is deprecated! Use `dtype` instead!
+The following generation flags are not valid and may be ignored: ['temperature']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
+{
+  "finite_weights": true,
+  "nonzero_trained_B": true,
+  "metrics": {
+    "before_validation": {
+      "loss": 2.356857261739172,
+      "perplexity": 10.557719111712423,
+      "response_tokens": 1522,
+      "matches_saved": true
+    },
+    "before_test": {
+      "loss": 2.4296030150575043,
+      "perplexity": 11.354373669796804,
+      "response_tokens": 1907,
+      "matches_saved": true
+    },
+    "after_validation": {
+      "loss": 2.2421957183918093,
+      "perplexity": 9.413979057759946,
+      "response_tokens": 1522,
+      "matches_saved": true
+    },
+    "after_test": {
+      "loss": 2.3472890483814193,
+      "perplexity": 10.457182348298135,
+      "response_tokens": 1907,
+      "matches_saved": true
+    }
+  },
+  "first_generation_matches_saved": true
+}

manifest-sha256.json

@@ -0,0 +1,31 @@
+{
+  "LICENSE": "7c6b5cba1532431d58b4820e49de2e5a188d235a9522b8bf3327955c02acac25",
+  "NOTICE": "40e1dc3c3b8de124558c834c0e3ccc5f67bacec7ea6d5909813dbde62d5c8549",
+  "README.md": "d789675f3591ebbbd1473d00c116498620ef3b2d2d65677971d1c4c54fcf4547",
+  "adapter_config.json": "b253bcd664a9aea65293f61730423d47d72bcc5cbf07bbe607407c505b4f76f5",
+  "adapter_model.safetensors": "0dec305009fff55a334b7a829d7b0763bbcceeee3a8892090e88303784c6c980",
+  "baseline.json": "3883eeea03ad5da6315442e5059362d356c03429428c41edb28c9ce67c08d157",
+  "bfloat16-generations.json": "160cccce1ff2cd657d6ebe459f141abaca7b43ce41250aa8bd78c45e108c3f1b",
+  "data/test.jsonl": "38b43cda5b42944a6514b34875d97b582712c71e760bc60f71e973e3450fe4d7",
+  "data/train.jsonl": "b0d8c02a8b224cea94195223fa2d15e0175dec6ef32b1eaad8f2f02f29eea1e5",
+  "data/validation.jsonl": "cb4d0697656b4be88bc175ab59087856ce32ac748f1dec6c2caedaec4addf22a",
+  "data-stats.json": "a0aeeebc60b5c9390eba6e8f57ba0fc356132d0b97c33291919d5ad6929a4bc7",
+  "generations.json": "53df92d14c1c073d5e4fcd46bead197bc574542829a4b29816d32d32117a0184",
+  "logs/final-eval.log": "6cb12bf68a8a488218e1892c4f82662b97e5949acf108607a0106b6984c5f80d",
+  "logs/prepare.log": "9ae3a71a43341c8230147030c9fb7d2f6a2afec7bb3b5c4d2ca71daf4f658c27",
+  "logs/smoke.log": "2835464af70f6f018f6c8216dbddaf7006d3f16f0ac18f293716de9b5082c3c1",
+  "logs/train.log": "76fafb79c735d34753d8fe4a0ced79136aff4cfa783eb5eee2f32cd58b46d6c8",
+  "logs/verify.log": "2b68f077164df928e051bb3b34974e1f5eab958301223c7f2a6961b4d16fda83",
+  "metrics.json": "e07fa309701cc3265fdf9a83fa324a904c6d486869bcc3b20ad764fd93aff80f",
+  "requirements-lock.txt": "9f3d3517410fc37025442fbf1408b50e3392c49303ad1dd5192806c99820d764",
+  "scripts/download_base.py": "db95a1585e01dcd938288b096088cc4b7add2c5213f8080fe55c5f93b48c9e02",
+  "scripts/final_eval.py": "1eeee1e7196f6ec386e76af4c29e92bd8300c2327bfe08a755347c4b990ab701",
+  "scripts/prepare.py": "838e3101671a18fedff9a2ace5fb0085bc47a5af4e757262accb991a366dc19f",
+  "scripts/test_pipeline.py": "ac6b1a29bafab420c2ccb7eef1862439ce1254a9c4b0d4eb0e9eafc9b771d13f",
+  "scripts/train.py": "79c9de03f82895578ce9fa507b2fd65684b60fa3a9b997533ba82ef1c76ebb54",
+  "scripts/verify_adapter.py": "a4fb9efd28803b77e13df35afcb4b9937c50016f8873f0fb0320988126b92f14",
+  "source-revisions.json": "288156df0b8d49109ba0d7492cb2f2d9eef91f7f52eec35968c650cea66b085e",
+  "training-log.jsonl": "b2a70a53d1404a55284349eaa4bdcc473bf4e09cbb16f1740884138f26954dfb",
+  "training-metrics.json": "71f4c66b218299fc6de25436158115b88165547fff0e4cd5118f36784558202d",
+  "verification.json": "ca41853bbf0c36bf6b7489f69eee94c09039f1a4199e7cde7282c3d2d533a8e5"
+}

metrics.json

@@ -0,0 +1,228 @@
+{
+  "started_at_brasilia": "2026-11-10T16:11:11.132132-03:00",
+  "hardware": {
+    "cpu": "Intel(R) Xeon(R) Processor",
+    "logical_cpus": 8,
+    "ram_total_gib": 15.627,
+    "gpu_available": false
+  },
+  "versions": {
+    "python": "3.13.5",
+    "torch": "2.15.0+cpu",
+    "transformers": "4.57.6",
+    "peft": "0.21.2",
+    "datasets": "5.0.1",
+    "accelerate": "1.15.0"
+  },
+  "sources": {
+    "model": {
+      "id": "TucanoBR/Tucano-160m",
+      "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+    },
+    "dataset": {
+      "id": "OpenAssistant/oasst2",
+      "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75"
+    }
+  },
+  "config": {
+    "seed": 42,
+    "threads": 6,
+    "epochs": 6,
+    "micro_batch_size": 4,
+    "gradient_accumulation_steps": 4,
+    "effective_batch_size": 16,
+    "learning_rate": 0.0003,
+    "weight_decay": 0.01,
+    "warmup_ratio": 0.1,
+    "max_grad_norm": 1.0,
+    "rank": 16,
+    "lora_alpha": 32,
+    "lora_dropout": 0.05,
+    "target_modules": [
+      "q_proj",
+      "k_proj",
+      "v_proj",
+      "o_proj",
+      "gate_proj",
+      "up_proj",
+      "down_proj"
+    ],
+    "max_length": 384,
+    "precision": "CPU bfloat16 autocast; float32 base weights and trainable adapters",
+    "loss": "completion-only token-weighted next-token negative log likelihood, including EOS"
+  },
+  "trainable_parameters": 3391488,
+  "total_parameters_with_adapter": 165808896,
+  "base_parameters": 162417408,
+  "split_examples": {
+    "train": 94,
+    "validation": 12,
+    "test": 12
+  },
+  "before": {
+    "validation": {
+      "loss": 2.356857261739172,
+      "perplexity": 10.557719111712423,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 1.1720929019938922
+    },
+    "test": {
+      "loss": 2.4296030150575043,
+      "perplexity": 11.354373669796804,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 1.310258571000304
+    }
+  },
+  "best_epoch": 2,
+  "after": {
+    "validation": {
+      "loss": 2.2421957183918093,
+      "perplexity": 9.413979057759946,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 1.3975867709959857
+    },
+    "test": {
+      "loss": 2.3472890483814193,
+      "perplexity": 10.457182348298135,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 1.5549200380046386
+    }
+  },
+  "training_started_at_brasilia": "2026-11-10T16:11:25.463075-03:00",
+  "training_finished_at_brasilia": "2026-11-10T16:14:04.097314-03:00",
+  "training_seconds_excluding_evaluation": 154.74840372199833,
+  "validation_seconds_during_training": 3.513742549010203,
+  "optimizer_steps": 36,
+  "supervised_tokens_across_epochs": 75084,
+  "history": [
+    {
+      "event": "epoch",
+      "epoch": 1,
+      "optimizer_steps": 6,
+      "train_loss": 2.2584660765231943,
+      "train_seconds": 25.907004280001274,
+      "validation": {
+        "loss": 2.2768132312225764,
+        "perplexity": 9.745573980476506,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5419957140038605
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 2,
+      "optimizer_steps": 12,
+      "train_loss": 2.098645087989428,
+      "train_seconds": 25.95503581200319,
+      "validation": {
+        "loss": 2.242185463416592,
+        "perplexity": 9.413882518133018,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5481375860035769
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 3,
+      "optimizer_steps": 18,
+      "train_loss": 1.981365356522283,
+      "train_seconds": 24.54493858999922,
+      "validation": {
+        "loss": 2.243609419633462,
+        "perplexity": 9.427297023236907,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.6372171650000382
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 4,
+      "optimizer_steps": 24,
+      "train_loss": 1.8920829225523852,
+      "train_seconds": 25.12302869799896,
+      "validation": {
+        "loss": 2.24681126335134,
+        "perplexity": 9.457530130000158,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5965341569972225
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 5,
+      "optimizer_steps": 30,
+      "train_loss": 1.8361153760542404,
+      "train_seconds": 26.84980382199865,
+      "validation": {
+        "loss": 2.248372650961055,
+        "perplexity": 9.472308534770303,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5754360380014987
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 6,
+      "optimizer_steps": 36,
+      "train_loss": 1.8106174533771444,
+      "train_seconds": 26.368592519997037,
+      "validation": {
+        "loss": 2.2492608048129488,
+        "perplexity": 9.48072513914832,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.6144218890040065
+      }
+    }
+  ],
+  "wall_seconds_including_baselines_and_generations": 187.06369254900346,
+  "max_process_rss_gib": 5.4983062744140625,
+  "finished_at_brasilia": "2026-11-10T16:14:17.906711-03:00",
+  "bfloat16_training_evaluation": {
+    "before": {
+      "validation": {
+        "loss": 2.356751855036902,
+        "perplexity": 10.55660631600646,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.7319192210052279
+      },
+      "test": {
+        "loss": 2.430188522578911,
+        "perplexity": 11.361023687609077,
+        "response_tokens": 1907,
+        "examples": 12,
+        "seconds": 0.6798040540015791
+      }
+    },
+    "after": {
+      "validation": {
+        "loss": 2.2419521171066044,
+        "perplexity": 9.411686079660129,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5894143010009429
+      },
+      "test": {
+        "loss": 2.3471716908678437,
+        "perplexity": 10.455955191388183,
+        "response_tokens": 1907,
+        "examples": 12,
+        "seconds": 0.6937924470039434
+      }
+    }
+  },
+  "reported_evaluation_precision": "float32, no autocast",
+  "checkpoint_selection_precision": "CPU bfloat16 autocast; unchanged recorded validation selection",
+  "final_float32_evaluation_seconds": 14.197787631004758,
+  "precision_note": "Repeated identical BF16 forwards varied numerically on this CPU. Float32 reporting evaluation was used instead; no checkpoint or hyperparameter was changed. Original BF16 measurements remain in training-metrics.json."
+}

requirements-lock.txt

@@ -0,0 +1,55 @@
+accelerate==1.15.0
+aiohappyeyeballs==2.7.1
+aiohttp==3.14.5
+aiosignal==1.4.0
+anyio==4.16.0
+attrs==26.1.0
+certifi==2026.10.23
+charset-normalizer==3.5.2
+cloudpickle==3.1.2
+datasets==5.0.1
+dill==0.4.1
+filelock==4.2.4
+frozenlist==1.8.0
+fsspec==2026.6.0
+h11==0.16.0
+hf-xet==1.8.0
+httpcore==1.0.9
+httpx==0.28.1
+huggingface_hub==0.36.2
+idna==3.20
+Jinja2==3.1.6
+joblib==1.6.0
+MarkupSafe==3.0.3
+mpmath==1.3.0
+multidict==7.2.1
+multiprocess==0.70.19
+narwhals==2.28.0
+networkx==3.7
+numpy==2.5.4
+packaging==26.3
+pandas==3.1.1
+peft==0.21.2
+propcache==0.5.4
+psutil==7.2.2
+pyarrow==26.0.1
+python-dateutil==4.0.0
+PyYAML==6.0.3
+regex==2026.11.9
+requests==2.34.2
+safetensors==0.8.0
+scikit-learn==1.9.1
+scipy==1.18.1
+sentencepiece==0.2.3
+setuptools==78.1.0
+sympy==1.14.0
+threadpoolctl==3.8.0
+tokenizers==0.22.2
+torch==2.15.0+cpu
+tqdm==4.70.1
+transformers==4.57.6
+typing_extensions==4.16.0
+tzdata==2026.6
+urllib3==2.8.0
+xxhash==4.1.0
+yarl==1.25.1

scripts/download_base.py

@@ -0,0 +1,8 @@
+"""Fetch the pinned Apache-2.0 base weights, tokenizer and license."""
+import json
+from pathlib import Path
+from huggingface_hub import snapshot_download
+
+root = Path(__file__).resolve().parent.parent
+source = json.loads((root / "source-revisions.json").read_text())["model"]
+snapshot_download(source["id"], revision=source["revision"], allow_patterns=["config.json", "generation_config.json", "*.safetensors", "tokenizer*", "special_tokens_map.json", "LICENSE", "README.md"], local_dir=root/"base")

scripts/final_eval.py

@@ -0,0 +1,54 @@
+"""Stable float32 reporting evaluation of the already selected checkpoint.
+Training/checkpoint selection remain the recorded bfloat16 experiment.
+"""
+import contextlib
+import json
+import math
+import time
+from pathlib import Path
+import torch
+from peft import PeftModel
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from train import collate, encode, prompt
+
+ROOT=Path(__file__).resolve().parent.parent
+OUT=ROOT/"publish"
+start=time.perf_counter()
+torch.set_num_threads(6);torch.set_num_interop_threads(1)
+metrics=json.loads((OUT/"metrics.json").read_text())
+assert metrics.get("reported_evaluation_precision") is None,"Do not overwrite a completed final evaluation"
+(OUT/"training-metrics.json").write_text(json.dumps(metrics,indent=2,ensure_ascii=False))
+(OUT/"bfloat16-generations.json").write_text((OUT/"generations.json").read_text())
+tok=AutoTokenizer.from_pretrained(ROOT/"base")
+base=AutoModelForCausalLM.from_pretrained(ROOT/"base",torch_dtype=torch.float32,attn_implementation="sdpa")
+model=PeftModel.from_pretrained(base,OUT);model.eval()
+rows={s:[json.loads(l) for l in (OUT/"data"/(s+".jsonl")).read_text().splitlines()] for s in ["validation","test"]}
+new={};generated={}
+for phase in ["before","after"]:
+    new[phase]={}
+    with torch.inference_mode(),(model.disable_adapter() if phase=="before" else contextlib.nullcontext()):
+        for split in ["validation","test"]:
+            summed=0.;tokens=0;t=time.perf_counter()
+            for begin in range(0,len(rows[split]),4):
+                batch=collate([encode(r,tok) for r in rows[split][begin:begin+4]],tok.pad_token_id)
+                n=int((batch["labels"][:,1:]!=-100).sum())
+                loss=model(**batch).loss
+                summed+=loss.item()*n;tokens+=n
+            new[phase][split]={"loss":summed/tokens,"perplexity":math.exp(summed/tokens),"response_tokens":tokens,"examples":len(rows[split]),"seconds":time.perf_counter()-t}
+        generated[phase]=[]
+        for row in rows["test"][:6]:
+            batch=tok(prompt(row["instruction"]),return_tensors="pt")
+            ids=model.generate(**batch,max_new_tokens=80,do_sample=False,use_cache=True,pad_token_id=tok.pad_token_id,eos_token_id=tok.eos_token_id)
+            generated[phase].append(tok.decode(ids[0,batch["input_ids"].shape[1]:],skip_special_tokens=True))
+metrics["bfloat16_training_evaluation"]={"before":metrics["before"],"after":metrics["after"]}
+metrics.update(new)
+metrics["reported_evaluation_precision"]="float32, no autocast"
+metrics["checkpoint_selection_precision"]="CPU bfloat16 autocast; unchanged recorded validation selection"
+metrics["final_float32_evaluation_seconds"]=time.perf_counter()-start
+metrics["precision_note"]="Repeated identical BF16 forwards varied numerically on this CPU. Float32 reporting evaluation was used instead; no checkpoint or hyperparameter was changed. Original BF16 measurements remain in training-metrics.json."
+comp=[]
+for i,row in enumerate(rows["test"][:6]):
+    comp.append({"prompt_id":row["prompt_id"],"instruction":row["instruction"],"reference":row["response"],"before":generated["before"][i],"after":generated["after"][i]})
+(OUT/"metrics.json").write_text(json.dumps(metrics,indent=2,ensure_ascii=False))
+(OUT/"generations.json").write_text(json.dumps(comp,indent=2,ensure_ascii=False))
+print(json.dumps({"before":metrics["before"],"after":metrics["after"],"seconds":metrics["final_float32_evaluation_seconds"]},indent=2))

scripts/prepare.py

@@ -0,0 +1,79 @@
+"""Prepare a deterministic, first-turn pt-BR OASST2 instruction subset.
+Apache-2.0. Run from the experiment directory.
+"""
+import collections
+import gzip
+import hashlib
+import json
+from pathlib import Path
+
+import regex
+from huggingface_hub import hf_hub_download
+from transformers import AutoTokenizer
+
+ROOT = Path(__file__).resolve().parent.parent
+SOURCES = json.loads((ROOT / "source-revisions.json").read_text())
+REPO = SOURCES["dataset"]["id"]
+REV = SOURCES["dataset"]["revision"]
+MAX_LENGTH = 384
+TOKENIZER = AutoTokenizer.from_pretrained(SOURCES["model"]["id"], revision=SOURCES["model"]["revision"])
+
+def prompt(text):
+    return "### Instrução:\n" + text.strip() + "\n\n### Resposta:\n"
+
+def accepted(row):
+    if row.get("lang") != "pt-BR" or row.get("deleted") or row.get("synthetic") or row.get("review_result") is not True:
+        return False
+    labels = row.get("labels", {})
+    for name in ("spam", "pii", "lang_mismatch"):
+        if labels.get(name, {}).get("value", 0) > 0:
+            return False
+    if labels.get("quality", {}).get("value", 0) < 0.5:
+        return False
+    return not regex.search(r"\p{Extended_Pictographic}", row["text"])
+
+def main():
+    f = hf_hub_download(REPO, "2023-11-05_oasst2_ready.messages.jsonl.gz", repo_type="dataset", revision=REV)
+    with gzip.open(f, "rt") as stream:
+        rows = [json.loads(line) for line in stream]
+    by_id = {r["message_id"]: r for r in rows}
+    counts = collections.Counter()
+    pairs = []
+    seen_prompts = set()
+    for answer in sorted(rows, key=lambda r: r["message_id"]):
+        if answer["role"] != "assistant" or answer.get("rank") != 0 or not accepted(answer):
+            continue
+        question = by_id.get(answer.get("parent_id"))
+        if not question or question.get("parent_id") is not None or question["role"] != "prompter" or not accepted(question):
+            continue
+        counts["eligible_before_length"] += 1
+        q, a = question["text"].strip(), answer["text"].strip()
+        prompt_ids = TOKENIZER(prompt(q), add_special_tokens=True)["input_ids"]
+        answer_ids = TOKENIZER(a, add_special_tokens=False)["input_ids"] + [TOKENIZER.eos_token_id]
+        if not 4 <= len(answer_ids) <= 256 or not 4 <= len(prompt_ids) <= 128 or len(prompt_ids) + len(answer_ids) > MAX_LENGTH:
+            counts["excluded_length"] += 1
+            continue
+        norm = " ".join(q.casefold().split())
+        if norm in seen_prompts:
+            counts["excluded_duplicate_prompt"] += 1
+            continue
+        seen_prompts.add(norm)
+        group_hash = hashlib.sha256(("tucano-ptbr-v1:" + question["message_id"]).encode()).hexdigest()
+        pairs.append({"prompt_id": question["message_id"], "response_id": answer["message_id"], "tree_id": answer["message_tree_id"], "instruction": q, "response": a, "prompt_tokens": len(prompt_ids), "response_tokens": len(answer_ids), "split_hash": group_hash})
+    pairs.sort(key=lambda r: r["split_hash"])
+    # A new 80/10/10 split of whole roots, not the upstream message-level split.
+    n = len(pairs); n_train = int(n * .8); n_val = (n - n_train) // 2
+    split_rows = {"train": pairs[:n_train], "validation": pairs[n_train:n_train+n_val], "test": pairs[n_train+n_val:]}
+    output = ROOT / "publish" / "data"; output.mkdir(parents=True, exist_ok=True)
+    stats = {"source": REPO, "revision": REV, "filters": dict(counts), "max_length": MAX_LENGTH, "splits": {}}
+    for name, examples in split_rows.items():
+        data = "".join(json.dumps(r, ensure_ascii=False) + "\n" for r in examples)
+        (output / (name + ".jsonl")).write_text(data)
+        stats["splits"][name] = {"examples": len(examples), "prompt_tokens": sum(r["prompt_tokens"] for r in examples), "response_tokens": sum(r["response_tokens"] for r in examples), "sha256": hashlib.sha256(data.encode()).hexdigest()}
+    assert len({r["tree_id"] for r in pairs}) == n
+    stats["format"] = "### Instrução:\n{instruction}\n\n### Resposta:\n{response}<eos>"
+    (ROOT / "publish" / "data-stats.json").write_text(json.dumps(stats, indent=2, ensure_ascii=False))
+    print(json.dumps(stats, indent=2, ensure_ascii=False))
+
+if __name__ == "__main__":
+    main()

scripts/test_pipeline.py

@@ -0,0 +1,39 @@
+"""Sanity checks for prompt/padding masks and held-out-root integrity."""
+import json
+import unittest
+from pathlib import Path
+from transformers import AutoTokenizer
+from train import collate, encode, prompt
+
+ROOT = Path(__file__).resolve().parent.parent
+
+class PipelineTests(unittest.TestCase):
+    @classmethod
+    def setUpClass(cls):
+        cls.tokenizer = AutoTokenizer.from_pretrained(ROOT/"base")
+
+    def test_completion_and_padding_mask(self):
+        a = encode({"instruction":"Qual é a capital do Brasil?", "response":"Brasília."}, self.tokenizer)
+        b = encode({"instruction":"Responda sim.", "response":"Sim."}, self.tokenizer)
+        n = len(self.tokenizer(prompt("Qual é a capital do Brasil?"))["input_ids"])
+        self.assertTrue(all(x == -100 for x in a["labels"][:n]))
+        self.assertEqual(a["labels"][n:],a["input_ids"][n:])
+        self.assertEqual(a["labels"][-1], self.tokenizer.eos_token_id)
+        batch = collate([a,b],self.tokenizer.pad_token_id)
+        self.assertTrue((batch["labels"][batch["attention_mask"] == 0] == -100).all())
+        self.assertEqual(int((batch["labels"][:,1:]!=-100).sum()),sum(sum(v!=-100 for v in row["labels"][1:]) for row in [a,b]))
+
+    def test_split_integrity(self):
+        trees, prompts = set(),set()
+        for name in ["train","validation","test"]:
+            path = ROOT/"publish"/"data"/(name+".jsonl")
+            rows = [json.loads(l) for l in path.read_text().splitlines()]
+            for row in rows:
+                self.assertNotIn(row["tree_id"],trees);trees.add(row["tree_id"])
+                norm=" ".join(row["instruction"].casefold().split())
+                self.assertNotIn(norm,prompts);prompts.add(norm)
+                encoded = encode(row,self.tokenizer)
+                self.assertLessEqual(len(encoded["input_ids"]),384)
+                self.assertEqual(sum(y!=-100 for y in encoded["labels"]),row["response_tokens"])
+
+if __name__=="__main__": unittest.main()

scripts/train.py

@@ -0,0 +1,160 @@
+"""CPU LoRA training with completion-only NLL and root-disjoint holdouts.
+Apache-2.0. Run from the experiment directory. No generated text is executed.
+"""
+import argparse
+import contextlib
+import json
+import math
+import os
+import platform
+import random
+import resource
+import time
+from datetime import datetime
+from pathlib import Path
+from zoneinfo import ZoneInfo
+
+import accelerate
+import datasets
+import peft
+import torch
+import transformers
+from peft import LoraConfig, get_peft_model
+from torch.utils.data import DataLoader
+from transformers import AutoModelForCausalLM, AutoTokenizer, get_cosine_schedule_with_warmup
+
+ROOT = Path(__file__).resolve().parent.parent
+
+def prompt(text):
+    return "### Instrução:\n" + text.strip() + "\n\n### Resposta:\n"
+
+def collate(examples, pad):
+    length = max(len(x["input_ids"]) for x in examples)
+    ids, labels, masks = [], [], []
+    for x in examples:
+        n = length - len(x["input_ids"])
+        ids.append(x["input_ids"] + [pad] * n)
+        labels.append(x["labels"] + [-100] * n)
+        masks.append([1] * len(x["input_ids"]) + [0] * n)
+    return {"input_ids": torch.tensor(ids), "labels": torch.tensor(labels), "attention_mask": torch.tensor(masks)}
+
+def encode(row, tokenizer):
+    p = tokenizer(prompt(row["instruction"]), add_special_tokens=True)["input_ids"]
+    a = tokenizer(row["response"], add_special_tokens=False)["input_ids"] + [tokenizer.eos_token_id]
+    return {"input_ids": p+a, "labels": [-100]*len(p)+a}
+
+def now():
+    return datetime.now(ZoneInfo("America/Sao_Paulo")).isoformat()
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--smoke", action="store_true")
+    args = parser.parse_args()
+    cfg = {"seed":42, "threads":6, "epochs":6, "micro_batch_size":4, "gradient_accumulation_steps":4, "effective_batch_size":16, "learning_rate":0.0003, "weight_decay":0.01, "warmup_ratio":0.1, "max_grad_norm":1.0, "rank":16, "lora_alpha":32, "lora_dropout":0.05, "target_modules":["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"], "max_length":384, "precision":"CPU bfloat16 autocast; float32 base weights and trainable adapters", "loss":"completion-only token-weighted next-token negative log likelihood, including EOS"}
+    torch.set_num_threads(cfg["threads"])
+    torch.set_num_interop_threads(1)
+    random.seed(cfg["seed"]); torch.manual_seed(cfg["seed"])
+    start = time.perf_counter()
+    sources = json.loads((ROOT/"source-revisions.json").read_text())
+    base = sources["model"]["id"]
+    tokenizer = AutoTokenizer.from_pretrained(ROOT/"base")
+    tokenizer.padding_side = "right"
+    model = AutoModelForCausalLM.from_pretrained(ROOT/"base", torch_dtype=torch.float32, attn_implementation="sdpa")
+    model.name_or_path = base; model.config._name_or_path = base
+    model.config.use_cache = False
+    model = get_peft_model(model, LoraConfig(task_type="CAUSAL_LM", r=cfg["rank"], lora_alpha=cfg["lora_alpha"], lora_dropout=cfg["lora_dropout"], target_modules=cfg["target_modules"], base_model_name_or_path=base, revision=sources["model"]["revision"]))
+    out = ROOT/("smoke" if args.smoke else "publish")
+    out.mkdir(exist_ok=True)
+    data = {name:[json.loads(line) for line in (ROOT/"publish"/"data"/(name+".jsonl")).read_text().splitlines()] for name in ["train","validation","test"]}
+    encoded = {name:[encode(r,tokenizer) for r in rows] for name,rows in data.items()}
+    for split in encoded.values():
+        for row in split:
+            assert len(row["input_ids"]) <= cfg["max_length"]
+            assert any(y != -100 for y in row["labels"])
+    loaders = {name:DataLoader(rows, batch_size=cfg["micro_batch_size"], shuffle=name=="train", collate_fn=lambda batch:collate(batch,tokenizer.pad_token_id), generator=torch.Generator().manual_seed(42)) for name,rows in encoded.items()}
+    trainable, total = model.get_nb_trainable_parameters()
+    info = {"started_at_brasilia":now(), "hardware":{"cpu":next(line.split(":",1)[1].strip() for line in open("/proc/cpuinfo") if line.startswith("model name")), "logical_cpus":os.cpu_count(), "ram_total_gib":round(os.sysconf("SC_PAGE_SIZE")*os.sysconf("SC_PHYS_PAGES")/1024**3,3), "gpu_available":torch.cuda.is_available()}, "versions":{"python":platform.python_version(), "torch":torch.__version__,"transformers":transformers.__version__,"peft":peft.__version__,"datasets":datasets.__version__,"accelerate":accelerate.__version__}, "sources":sources, "config":cfg, "trainable_parameters":trainable,"total_parameters_with_adapter":total,"base_parameters":total-trainable,"split_examples":{name:len(rows) for name,rows in data.items()}}
+    print(json.dumps(info,indent=2),flush=True)
+    def autocast():
+        return torch.autocast("cpu",dtype=torch.bfloat16)
+    @torch.inference_mode()
+    def evaluate(split):
+        model.eval(); summed_loss=0.; tokens=0; t=time.perf_counter()
+        for batch in loaders[split]:
+            count=(batch["labels"][:,1:] != -100).sum().item()
+            with autocast(): loss=model(**batch).loss
+            summed_loss+=loss.item()*count;tokens+=count
+        return {"loss":summed_loss/tokens,"perplexity":math.exp(summed_loss/tokens),"response_tokens":tokens,"examples":len(data[split]),"seconds":time.perf_counter()-t}
+    @torch.inference_mode()
+    def generate_examples():
+        model.eval(); result=[]
+        for row in data["test"][:6]:
+            batch=tokenizer(prompt(row["instruction"]),return_tensors="pt")
+            with autocast(): generated=model.generate(**batch,max_new_tokens=80,do_sample=False,use_cache=True,pad_token_id=tokenizer.pad_token_id,eos_token_id=tokenizer.eos_token_id)
+            result.append({"prompt_id":row["prompt_id"],"instruction":row["instruction"],"reference":row["response"],"generated":tokenizer.decode(generated[0,batch["input_ids"].shape[1]:],skip_special_tokens=True)})
+        return result
+    if args.smoke:
+        optimizer=torch.optim.AdamW([p for p in model.parameters() if p.requires_grad],lr=cfg["learning_rate"])
+        model.train(); times=[]
+        for i,batch in enumerate(loaders["train"]):
+            t=time.perf_counter();optimizer.zero_grad()
+            with autocast():loss=model(**batch).loss
+            loss.backward();optimizer.step();times.append(time.perf_counter()-t)
+            print("SMOKE",i,"loss",loss.item(),"seconds",times[-1],flush=True)
+            if i==2:break
+        print("SMOKE PASSED",times,flush=True);return
+    # Evaluate the actual frozen base path, not zero LoRA additions under autocast.
+    with model.disable_adapter():
+        info["before"]={s:evaluate(s) for s in ["validation","test"]}
+        before_gen=generate_examples()
+    (out/"baseline.json").write_text(json.dumps({"metrics":info["before"],"generations":before_gen},indent=2,ensure_ascii=False))
+    print("BASELINE",json.dumps(info["before"]),flush=True)
+    optimizer=torch.optim.AdamW([p for p in model.parameters() if p.requires_grad],lr=cfg["learning_rate"],weight_decay=cfg["weight_decay"])
+    steps_per_epoch=math.ceil(len(loaders["train"])/cfg["gradient_accumulation_steps"])
+    total_steps=steps_per_epoch*cfg["epochs"]
+    scheduler=get_cosine_schedule_with_warmup(optimizer,int(total_steps*cfg["warmup_ratio"]),total_steps)
+    best_loss=math.inf; history=[]; optimizer_step=0;train_time=0.;val_time=0.;supervised_tokens=0
+    training_start=now()
+    with (out/"training-log.jsonl").open("w") as log:
+        for epoch in range(cfg["epochs"]):
+            model.train();optimizer.zero_grad();epoch_nll=0.;epoch_tokens=0;epoch_start=time.perf_counter()
+            batches=list(loaders["train"])
+            # Token-weighted gradient accumulation, including the last partial group.
+            for group_start in range(0,len(batches),cfg["gradient_accumulation_steps"]):
+                group=batches[group_start:group_start+cfg["gradient_accumulation_steps"]]
+                group_tokens=sum((b["labels"][:,1:]!=-100).sum().item() for b in group)
+                for batch in group:
+                    count=(batch["labels"][:,1:]!=-100).sum().item()
+                    with autocast(): loss=model(**batch).loss
+                    (loss*count/group_tokens).backward()
+                    epoch_nll+=loss.item()*count;epoch_tokens+=count
+                norm=torch.nn.utils.clip_grad_norm_(model.parameters(),cfg["max_grad_norm"])
+                optimizer.step();scheduler.step();optimizer.zero_grad();optimizer_step+=1
+                if optimizer_step%5==0:
+                    row={"event":"step","epoch":epoch+1,"optimizer_step":optimizer_step,"running_train_loss":epoch_nll/epoch_tokens,"lr":scheduler.get_last_lr()[0],"grad_norm":float(norm),"epoch_elapsed_seconds":time.perf_counter()-epoch_start}
+                    log.write(json.dumps(row)+"\n");log.flush();print(json.dumps(row),flush=True)
+            epoch_seconds=time.perf_counter()-epoch_start;train_time+=epoch_seconds;supervised_tokens+=epoch_tokens
+            metrics=evaluate("validation");val_time+=metrics["seconds"]
+            row={"event":"epoch","epoch":epoch+1,"optimizer_steps":optimizer_step,"train_loss":epoch_nll/epoch_tokens,"train_seconds":epoch_seconds,"validation":metrics}
+            history.append(row);log.write(json.dumps(row)+"\n");log.flush();print(json.dumps(row),flush=True)
+            if metrics["loss"]<best_loss:
+                best_loss=metrics["loss"];info["best_epoch"]=epoch+1
+                model.save_pretrained(out,safe_serialization=True)
+    training_finished=now()
+    # Load the chosen validation checkpoint; the test never chooses hyperparameters or checkpoints.
+    from safetensors.torch import load_file
+    from peft import set_peft_model_state_dict
+    set_peft_model_state_dict(model,load_file(str(out/"adapter_model.safetensors")))
+    info["after"]={s:evaluate(s) for s in ["validation","test"]}
+    after_gen=generate_examples()
+    tokenizer.save_pretrained(out)
+    info.update({"training_started_at_brasilia":training_start,"training_finished_at_brasilia":training_finished,"training_seconds_excluding_evaluation":train_time,"validation_seconds_during_training":val_time,"optimizer_steps":optimizer_step,"supervised_tokens_across_epochs":supervised_tokens,"history":history,"wall_seconds_including_baselines_and_generations":time.perf_counter()-start,"max_process_rss_gib":resource.getrusage(resource.RUSAGE_SELF).ru_maxrss/1024**2,"finished_at_brasilia":now()})
+    comparisons=[]
+    for b,a in zip(before_gen,after_gen):
+        assert b["prompt_id"]==a["prompt_id"]
+        comparisons.append({"prompt_id":b["prompt_id"],"instruction":b["instruction"],"reference":b["reference"],"before":b["generated"],"after":a["generated"]})
+    (out/"metrics.json").write_text(json.dumps(info,indent=2,ensure_ascii=False))
+    (out/"generations.json").write_text(json.dumps(comparisons,indent=2,ensure_ascii=False))
+    print("FINISHED",json.dumps({"before":info["before"],"after":info["after"],"train_seconds":train_time,"wall_seconds":info["wall_seconds_including_baselines_and_generations"]}),flush=True)
+
+if __name__=="__main__":main()

scripts/verify_adapter.py

@@ -0,0 +1,45 @@
+"""Reload the on-disk adapter and independently reproduce held-out NLL."""
+import json
+import math
+import contextlib
+from pathlib import Path
+
+import torch
+from peft import PeftModel
+from safetensors.torch import load_file
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from train import collate, encode, prompt
+
+ROOT=Path(__file__).resolve().parent.parent
+OUT=ROOT/"publish"
+metrics=json.loads((OUT/"metrics.json").read_text())
+torch.set_num_threads(6);torch.set_num_interop_threads(1)
+tok=AutoTokenizer.from_pretrained(ROOT/"base")
+base=AutoModelForCausalLM.from_pretrained(ROOT/"base",torch_dtype=torch.float32,attn_implementation="sdpa")
+model=PeftModel.from_pretrained(base,OUT);model.eval()
+weights=load_file(str(OUT/"adapter_model.safetensors"))
+assert all(torch.isfinite(t).all() for t in weights.values())
+assert any(t.abs().sum()>0 for k,t in weights.items() if "lora_B" in k)
+result={"finite_weights":True,"nonzero_trained_B":True,"metrics":{}}
+for phase in ["before","after"]:
+    for split in ["validation","test"]:
+        rows=[json.loads(l) for l in (OUT/"data"/(split+".jsonl")).read_text().splitlines()]
+        summed=0.;tokens=0
+        with torch.inference_mode(), (model.disable_adapter() if phase=="before" else contextlib.nullcontext()):
+            for start in range(0,len(rows),4):
+                batch=collate([encode(r,tok) for r in rows[start:start+4]],tok.pad_token_id)
+                n=(batch["labels"][:,1:]!=-100).sum().item()
+                loss=model(**batch).loss
+                summed+=loss.item()*n;tokens+=n
+        value=summed/tokens;expected=metrics[phase][split]["loss"]
+        assert abs(value-expected)<1e-6,(phase,split,value,expected)
+        result["metrics"][phase+"_"+split]={"loss":value,"perplexity":math.exp(value),"response_tokens":tokens,"matches_saved":True}
+examples=json.loads((OUT/"generations.json").read_text())
+row=examples[0];inputs=tok(prompt(row["instruction"]),return_tensors="pt")
+with torch.inference_mode():
+    generated=model.generate(**inputs,max_new_tokens=80,do_sample=False,use_cache=True,pad_token_id=tok.pad_token_id,eos_token_id=tok.eos_token_id)
+text=tok.decode(generated[0,inputs["input_ids"].shape[1]:],skip_special_tokens=True)
+assert text==row["after"],(text,row["after"])
+result["first_generation_matches_saved"]=True
+(OUT/"verification.json").write_text(json.dumps(result,indent=2))
+print(json.dumps(result,indent=2))

source-revisions.json

@@ -0,0 +1,10 @@
+{
+  "model": {
+    "id": "TucanoBR/Tucano-160m",
+    "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+  },
+  "dataset": {
+    "id": "OpenAssistant/oasst2",
+    "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75"
+  }
+}

training-log.jsonl

@@ -0,0 +1,13 @@
+{"event": "step", "epoch": 1, "optimizer_step": 5, "running_train_loss": 2.238007207674975, "lr": 0.00029728930458940595, "grad_norm": 0.8063221573829651, "epoch_elapsed_seconds": 22.473043352998502}
+{"event": "epoch", "epoch": 1, "optimizer_steps": 6, "train_loss": 2.2584660765231943, "train_seconds": 25.907004280001274, "validation": {"loss": 2.2768132312225764, "perplexity": 9.745573980476506, "response_tokens": 1522, "examples": 12, "seconds": 0.5419957140038605}}
+{"event": "step", "epoch": 2, "optimizer_step": 10, "running_train_loss": 2.1012608638544528, "lr": 0.00026790796421141813, "grad_norm": 0.5991487503051758, "epoch_elapsed_seconds": 18.22901766400173}
+{"event": "epoch", "epoch": 2, "optimizer_steps": 12, "train_loss": 2.098645087989428, "train_seconds": 25.95503581200319, "validation": {"loss": 2.242185463416592, "perplexity": 9.413882518133018, "response_tokens": 1522, "examples": 12, "seconds": 0.5481375860035769}}
+{"event": "step", "epoch": 3, "optimizer_step": 15, "running_train_loss": 1.9789021475735185, "lr": 0.00021231225195028297, "grad_norm": 0.5209558606147766, "epoch_elapsed_seconds": 12.166495024997857}
+{"event": "epoch", "epoch": 3, "optimizer_steps": 18, "train_loss": 1.981365356522283, "train_seconds": 24.54493858999922, "validation": {"loss": 2.243609419633462, "perplexity": 9.427297023236907, "response_tokens": 1522, "examples": 12, "seconds": 0.6372171650000382}}
+{"event": "step", "epoch": 4, "optimizer_step": 20, "running_train_loss": 1.9427905353859114, "lr": 0.00014286271262643866, "grad_norm": 0.5414717197418213, "epoch_elapsed_seconds": 8.372175031996449}
+{"event": "epoch", "epoch": 4, "optimizer_steps": 24, "train_loss": 1.8920829225523852, "train_seconds": 25.12302869799896, "validation": {"loss": 2.24681126335134, "perplexity": 9.457530130000158, "response_tokens": 1522, "examples": 12, "seconds": 0.5965341569972225}}
+{"event": "step", "epoch": 5, "optimizer_step": 25, "running_train_loss": 1.8080690098776657, "lr": 7.500000000000002e-05, "grad_norm": 0.4843766689300537, "epoch_elapsed_seconds": 5.079509700997733}
+{"event": "step", "epoch": 5, "optimizer_step": 30, "running_train_loss": 1.8361153760542404, "lr": 2.38119700753228e-05, "grad_norm": 0.5224012732505798, "epoch_elapsed_seconds": 26.849627632000193}
+{"event": "epoch", "epoch": 5, "optimizer_steps": 30, "train_loss": 1.8361153760542404, "train_seconds": 26.84980382199865, "validation": {"loss": 2.248372650961055, "perplexity": 9.472308534770303, "response_tokens": 1522, "examples": 12, "seconds": 0.5754360380014987}}
+{"event": "step", "epoch": 6, "optimizer_step": 35, "running_train_loss": 1.8029368741417207, "lr": 6.792116140373116e-07, "grad_norm": 0.6384185552597046, "epoch_elapsed_seconds": 22.325316743001167}
+{"event": "epoch", "epoch": 6, "optimizer_steps": 36, "train_loss": 1.8106174533771444, "train_seconds": 26.368592519997037, "validation": {"loss": 2.2492608048129488, "perplexity": 9.48072513914832, "response_tokens": 1522, "examples": 12, "seconds": 0.6144218890040065}}

training-metrics.json

@@ -0,0 +1,190 @@
+{
+  "started_at_brasilia": "2026-11-10T16:11:11.132132-03:00",
+  "hardware": {
+    "cpu": "Intel(R) Xeon(R) Processor",
+    "logical_cpus": 8,
+    "ram_total_gib": 15.627,
+    "gpu_available": false
+  },
+  "versions": {
+    "python": "3.13.5",
+    "torch": "2.15.0+cpu",
+    "transformers": "4.57.6",
+    "peft": "0.21.2",
+    "datasets": "5.0.1",
+    "accelerate": "1.15.0"
+  },
+  "sources": {
+    "model": {
+      "id": "TucanoBR/Tucano-160m",
+      "revision": "6331cbef9933c05d8d0c8ae5ee23ed2570f06571"
+    },
+    "dataset": {
+      "id": "OpenAssistant/oasst2",
+      "revision": "179dd21fc55192153d94adb0e0ce8f69e222bf75"
+    }
+  },
+  "config": {
+    "seed": 42,
+    "threads": 6,
+    "epochs": 6,
+    "micro_batch_size": 4,
+    "gradient_accumulation_steps": 4,
+    "effective_batch_size": 16,
+    "learning_rate": 0.0003,
+    "weight_decay": 0.01,
+    "warmup_ratio": 0.1,
+    "max_grad_norm": 1.0,
+    "rank": 16,
+    "lora_alpha": 32,
+    "lora_dropout": 0.05,
+    "target_modules": [
+      "q_proj",
+      "k_proj",
+      "v_proj",
+      "o_proj",
+      "gate_proj",
+      "up_proj",
+      "down_proj"
+    ],
+    "max_length": 384,
+    "precision": "CPU bfloat16 autocast; float32 base weights and trainable adapters",
+    "loss": "completion-only token-weighted next-token negative log likelihood, including EOS"
+  },
+  "trainable_parameters": 3391488,
+  "total_parameters_with_adapter": 165808896,
+  "base_parameters": 162417408,
+  "split_examples": {
+    "train": 94,
+    "validation": 12,
+    "test": 12
+  },
+  "before": {
+    "validation": {
+      "loss": 2.356751855036902,
+      "perplexity": 10.55660631600646,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 0.7319192210052279
+    },
+    "test": {
+      "loss": 2.430188522578911,
+      "perplexity": 11.361023687609077,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 0.6798040540015791
+    }
+  },
+  "best_epoch": 2,
+  "after": {
+    "validation": {
+      "loss": 2.2419521171066044,
+      "perplexity": 9.411686079660129,
+      "response_tokens": 1522,
+      "examples": 12,
+      "seconds": 0.5894143010009429
+    },
+    "test": {
+      "loss": 2.3471716908678437,
+      "perplexity": 10.455955191388183,
+      "response_tokens": 1907,
+      "examples": 12,
+      "seconds": 0.6937924470039434
+    }
+  },
+  "training_started_at_brasilia": "2026-11-10T16:11:25.463075-03:00",
+  "training_finished_at_brasilia": "2026-11-10T16:14:04.097314-03:00",
+  "training_seconds_excluding_evaluation": 154.74840372199833,
+  "validation_seconds_during_training": 3.513742549010203,
+  "optimizer_steps": 36,
+  "supervised_tokens_across_epochs": 75084,
+  "history": [
+    {
+      "event": "epoch",
+      "epoch": 1,
+      "optimizer_steps": 6,
+      "train_loss": 2.2584660765231943,
+      "train_seconds": 25.907004280001274,
+      "validation": {
+        "loss": 2.2768132312225764,
+        "perplexity": 9.745573980476506,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5419957140038605
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 2,
+      "optimizer_steps": 12,
+      "train_loss": 2.098645087989428,
+      "train_seconds": 25.95503581200319,
+      "validation": {
+        "loss": 2.242185463416592,
+        "perplexity": 9.413882518133018,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5481375860035769
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 3,
+      "optimizer_steps": 18,
+      "train_loss": 1.981365356522283,
+      "train_seconds": 24.54493858999922,
+      "validation": {
+        "loss": 2.243609419633462,
+        "perplexity": 9.427297023236907,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.6372171650000382
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 4,
+      "optimizer_steps": 24,
+      "train_loss": 1.8920829225523852,
+      "train_seconds": 25.12302869799896,
+      "validation": {
+        "loss": 2.24681126335134,
+        "perplexity": 9.457530130000158,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5965341569972225
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 5,
+      "optimizer_steps": 30,
+      "train_loss": 1.8361153760542404,
+      "train_seconds": 26.84980382199865,
+      "validation": {
+        "loss": 2.248372650961055,
+        "perplexity": 9.472308534770303,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.5754360380014987
+      }
+    },
+    {
+      "event": "epoch",
+      "epoch": 6,
+      "optimizer_steps": 36,
+      "train_loss": 1.8106174533771444,
+      "train_seconds": 26.368592519997037,
+      "validation": {
+        "loss": 2.2492608048129488,
+        "perplexity": 9.48072513914832,
+        "response_tokens": 1522,
+        "examples": 12,
+        "seconds": 0.6144218890040065
+      }
+    }
+  ],
+  "wall_seconds_including_baselines_and_generations": 187.06369254900346,
+  "max_process_rss_gib": 5.4983062744140625,
+  "finished_at_brasilia": "2026-11-10T16:14:17.906711-03:00"
+}

verification.json

@@ -0,0 +1,31 @@
+{
+  "finite_weights": true,
+  "nonzero_trained_B": true,
+  "metrics": {
+    "before_validation": {
+      "loss": 2.356857261739172,
+      "perplexity": 10.557719111712423,
+      "response_tokens": 1522,
+      "matches_saved": true
+    },
+    "before_test": {
+      "loss": 2.4296030150575043,
+      "perplexity": 11.354373669796804,
+      "response_tokens": 1907,
+      "matches_saved": true
+    },
+    "after_validation": {
+      "loss": 2.2421957183918093,
+      "perplexity": 9.413979057759946,
+      "response_tokens": 1522,
+      "matches_saved": true
+    },
+    "after_test": {
+      "loss": 2.3472890483814193,
+      "perplexity": 10.457182348298135,
+      "response_tokens": 1907,
+      "matches_saved": true
+    }
+  },
+  "first_generation_matches_saved": true
+}