add text mapping process

.ipynb_checkpoints/app-checkpoint.py

@@ -1,56 +0,0 @@
-# Gaepago model V1 (CPU Test)
-
-# import package
-from transformers import AutoModelForAudioClassification
-from transformers import AutoFeatureExtractor
-from transformers import pipeline
-from datasets import Dataset, Audio
-import gradio as gr
-import torch
-
-# Set model & Dataset NM
-MODEL_NAME = "Gae8J/gaepago-20"
-DATASET_NAME = "Gae8J/modeling_v1"
-
-# Import Model & feature extractor
-# model = AutoModelForAudioClassification.from_pretrained(MODEL_NAME)
-from transformers import AutoConfig
-config = AutoConfig.from_pretrained(MODEL_NAME)
-model = torch.jit.load(f"./model/gaepago-20-lite/model_quant_int8.pt")
-feature_extractor = AutoFeatureExtractor.from_pretrained(MODEL_NAME)
-
-# 모델 cpu로 변경하여 진행
-model.to("cpu")
-
-# Gaepago Inference Model function
-def gaepago_fn(tmp_audio_dir):
-    print(tmp_audio_dir)
-    audio_dataset = Dataset.from_dict({"audio": [tmp_audio_dir]}).cast_column("audio", Audio(sampling_rate=16000))
-    inputs = feature_extractor(audio_dataset[0]["audio"]["array"]
-                               ,sampling_rate=audio_dataset[0]["audio"]["sampling_rate"]
-                               ,return_tensors="pt")
-    with torch.no_grad():
-        # logits = model(**inputs).logits
-        logits = model(**inputs)["logits"]        
-    # predicted_class_ids = torch.argmax(logits).item()
-    # predicted_label = model.config.id2label[predicted_class_ids]
-    predicted_class_ids = torch.argmax(logits).item()
-    predicted_label = config.id2label[predicted_class_ids]
-    
-    return predicted_label
-
-# Main
-main_api = gr.Blocks()
-
-with main_api:
-    gr.Markdown("## 8J Gaepago Demo(with CPU)")
-    with gr.Row():
-        audio = gr.Audio(source="microphone", type="filepath"
-                         ,label='녹음버튼을 눌러 초코가 하는 말을 들려주세요')
-        transcription = gr.Textbox(label='지금 초코가 하는 말은...')
-    b1 = gr.Button("강아지 언어 번역!")
-
-    b1.click(gaepago_fn, inputs=audio, outputs=transcription)
-#    examples = gr.Examples(examples=example_list,
-#                           inputs=[audio])
-main_api.launch(share=True)

.ipynb_checkpoints/eval_and_inference-checkpoint.ipynb

@@ -1,279 +0,0 @@
-{
- "cells": [
-  {
-   "cell_type": "markdown",
-   "id": "544a588c-68ff-440f-be5c-389f1f02a0b7",
-   "metadata": {},
-   "source": [
-    "# example"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 1,
-   "id": "7ef8c97c-cefd-4905-8d63-af303c412d1a",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "MODEL_NAME = \"gaepago-20\"\n",
-    "DATASET_NAME = \"Gae8J/modeling_v1\""
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "044499ce-7821-4b59-9f4b-5971b6a24cce",
-   "metadata": {},
-   "source": [
-    "## load dataset (test data)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 2,
-   "id": "e827e3bb-820d-46b3-b2e8-fdb97787bde1",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "Found cached dataset parquet (/home/jovyan/.cache/huggingface/datasets/Gae8J___parquet/Gae8J--modeling_v1-b480c78c61a26816/0.0.0/2a3b91fbd88a2c90d1dbbb32b460cf621d31bd5b05b934492fdef7d8d6f236ec)\n"
-     ]
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "f078fd108d2044b48a961bee6ed49747",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "  0%|          | 0/3 [00:00<?, ?it/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    }
-   ],
-   "source": [
-    "from datasets import load_dataset, Audio\n",
-    "\n",
-    "dataset = load_dataset(DATASET_NAME)\n",
-    "dataset = dataset.cast_column(\"audio\", Audio(sampling_rate=16000))\n",
-    "test_data = dataset['test']\n",
-    "sampling_rate = test_data.features[\"audio\"].sampling_rate"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "d0c16b3d-32dd-4e61-86bd-e21232840e98",
-   "metadata": {},
-   "source": [
-    "## run"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 5,
-   "id": "d504778d-4ba3-43d3-b22b-76ce838a5edf",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "from transformers import AutoModelForAudioClassification\n",
-    "from transformers import AutoFeatureExtractor\n",
-    "import torch\n",
-    "\n",
-    "model = AutoModelForAudioClassification.from_pretrained(MODEL_NAME)\n",
-    "feature_extractor = AutoFeatureExtractor.from_pretrained(MODEL_NAME)\n",
-    "\n",
-    "preds = []\n",
-    "gts = []\n",
-    "for i in range(len(test_data)):\n",
-    "    inputs = feature_extractor(test_data[i][\"audio\"][\"array\"], sampling_rate=sampling_rate, return_tensors=\"pt\")\n",
-    "    with torch.no_grad():\n",
-    "        logits = model(**inputs).logits\n",
-    "    predicted_class_ids = torch.argmax(logits).item()\n",
-    "    predicted_label = model.config.id2label[predicted_class_ids]\n",
-    "    preds.append(predicted_label)\n",
-    "    gts.append(model.config.id2label[test_data[i]['label']])"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "f200bec5-c2d9-4549-8bb8-1400c484f499",
-   "metadata": {},
-   "source": [
-    "## performance"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 6,
-   "id": "be97683d-da60-4d23-abc9-0be9b86cd636",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "              precision    recall  f1-score   support\n",
-      "\n",
-      "        bark       0.56      0.62      0.59         8\n",
-      "    growling       1.00      0.83      0.91         6\n",
-      "        howl       0.75      0.86      0.80         7\n",
-      "     panting       1.00      0.80      0.89        10\n",
-      "     whimper       0.38      0.43      0.40         7\n",
-      "\n",
-      "    accuracy                           0.71        38\n",
-      "   macro avg       0.74      0.71      0.72        38\n",
-      "weighted avg       0.75      0.71      0.72        38\n",
-      "\n"
-     ]
-    }
-   ],
-   "source": [
-    "from sklearn.metrics import classification_report\n",
-    "test_performance = classification_report(gts, preds)\n",
-    "print(test_performance)"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "ea3ee48d-19c7-4f9d-9c2c-4b03d4748acb",
-   "metadata": {},
-   "source": [
-    "## load dataset (validation data)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 7,
-   "id": "33e5051e-75a2-4523-905c-fe1dbc81eda2",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "WARNING:datasets.builder:Found cached dataset parquet (/home/jovyan/.cache/huggingface/datasets/Gae8J___parquet/Gae8J--modeling_v1-b480c78c61a26816/0.0.0/2a3b91fbd88a2c90d1dbbb32b460cf621d31bd5b05b934492fdef7d8d6f236ec)\n"
-     ]
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "cf5cfe439c174b8284b4668419af6dca",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "  0%|          | 0/3 [00:00<?, ?it/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    }
-   ],
-   "source": [
-    "from datasets import load_dataset, Audio\n",
-    "\n",
-    "dataset = load_dataset(DATASET_NAME)\n",
-    "dataset = dataset.cast_column(\"audio\", Audio(sampling_rate=16000))\n",
-    "test_data = dataset['validation']\n",
-    "sampling_rate = test_data.features[\"audio\"].sampling_rate"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "36bee3b3-e66f-46dc-8030-cef3cb62ff97",
-   "metadata": {},
-   "source": [
-    "## run"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 9,
-   "id": "914a471c-5d76-482b-a4f3-3c5eeebdd697",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "from transformers import AutoModelForAudioClassification\n",
-    "import torch\n",
-    "\n",
-    "model = AutoModelForAudioClassification.from_pretrained(MODEL_NAME)\n",
-    "feature_extractor = AutoFeatureExtractor.from_pretrained(MODEL_NAME)\n",
-    "\n",
-    "preds = []\n",
-    "gts = []\n",
-    "for i in range(len(test_data)):\n",
-    "    inputs = feature_extractor(test_data[i][\"audio\"][\"array\"], sampling_rate=sampling_rate, return_tensors=\"pt\")\n",
-    "    with torch.no_grad():\n",
-    "        logits = model(**inputs).logits\n",
-    "    predicted_class_ids = torch.argmax(logits).item()\n",
-    "    predicted_label = model.config.id2label[predicted_class_ids]\n",
-    "    preds.append(predicted_label)\n",
-    "    gts.append(model.config.id2label[test_data[i]['label']])"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "4f1d5bab-4f88-4628-918e-d14b29c2143b",
-   "metadata": {},
-   "source": [
-    "## performance"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 10,
-   "id": "26e0c704-b5b6-4bf0-8b58-1e3615b76cb7",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "              precision    recall  f1-score   support\n",
-      "\n",
-      "        bark       0.75      0.67      0.71         9\n",
-      "    growling       1.00      0.71      0.83         7\n",
-      "        howl       0.86      0.86      0.86         7\n",
-      "     panting       1.00      0.70      0.82        10\n",
-      "     whimper       0.54      1.00      0.70         7\n",
-      "\n",
-      "    accuracy                           0.78        40\n",
-      "   macro avg       0.83      0.79      0.78        40\n",
-      "weighted avg       0.84      0.78      0.78        40\n",
-      "\n"
-     ]
-    }
-   ],
-   "source": [
-    "from sklearn.metrics import classification_report\n",
-    "valid_performance = classification_report(gts, preds)\n",
-    "print(valid_performance)"
-   ]
-  }
- ],
- "metadata": {
-  "kernelspec": {
-   "display_name": "g3p8",
-   "language": "python",
-   "name": "g3p8"
-  },
-  "language_info": {
-   "codemirror_mode": {
-    "name": "ipython",
-    "version": 3
-   },
-   "file_extension": ".py",
-   "mimetype": "text/x-python",
-   "name": "python",
-   "nbconvert_exporter": "python",
-   "pygments_lexer": "ipython3",
-   "version": "3.7.9"
-  }
- },
- "nbformat": 4,
- "nbformat_minor": 5
-}

.ipynb_checkpoints/eval_and_inference_lite_v1-checkpoint.ipynb

@@ -1,189 +0,0 @@
-{
- "cells": [
-  {
-   "cell_type": "markdown",
-   "id": "544a588c-68ff-440f-be5c-389f1f02a0b7",
-   "metadata": {},
-   "source": [
-    "# example"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 1,
-   "id": "7ef8c97c-cefd-4905-8d63-af303c412d1a",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "MODEL_NAME = \"gaepago-20-lite\"\n",
-    "DATASET_NAME = \"Gae8J/modeling_v1\""
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "044499ce-7821-4b59-9f4b-5971b6a24cce",
-   "metadata": {},
-   "source": [
-    "## load dataset (test data)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 2,
-   "id": "e827e3bb-820d-46b3-b2e8-fdb97787bde1",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "WARNING:datasets.builder:Found cached dataset parquet (/home/jovyan/.cache/huggingface/datasets/Gae8J___parquet/Gae8J--modeling_v1-b480c78c61a26816/0.0.0/2a3b91fbd88a2c90d1dbbb32b460cf621d31bd5b05b934492fdef7d8d6f236ec)\n"
-     ]
-    },
-    {
-     "data": {
-      "application/vnd.jupyter.widget-view+json": {
-       "model_id": "4438f0b33464423b92fecc698c1935e5",
-       "version_major": 2,
-       "version_minor": 0
-      },
-      "text/plain": [
-       "  0%|          | 0/3 [00:00<?, ?it/s]"
-      ]
-     },
-     "metadata": {},
-     "output_type": "display_data"
-    }
-   ],
-   "source": [
-    "from datasets import load_dataset, Audio\n",
-    "from transformers import AutoFeatureExtractor\n",
-    "dataset = load_dataset(DATASET_NAME)\n",
-    "dataset = dataset.cast_column(\"audio\", Audio(sampling_rate=16000))\n",
-    "test_data = dataset['test']\n",
-    "sampling_rate = test_data.features[\"audio\"].sampling_rate\n",
-    "feature_extractor = AutoFeatureExtractor.from_pretrained(MODEL_NAME)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 7,
-   "id": "779c547a-7e27-4481-8a66-fd9900e41964",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "from transformers import AutoConfig\n",
-    "config = AutoConfig.from_pretrained(MODEL_NAME)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 3,
-   "id": "03659af7-3d90-4431-a4ea-a8d99e93602f",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "import torch"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 4,
-   "id": "0f58cfcf-ba2d-45e4-b4e9-87df88e9dbad",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "loaded_quantized_model = torch.jit.load(\"gaepago-20-lite/model_quant_int8.pt\")"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "id": "52212656-a3e9-4bd2-ac2d-427acb5795c6",
-   "metadata": {},
-   "source": [
-    "## 모델결과"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 9,
-   "id": "3d4f5365-d6f1-4163-9c47-ce8c89e13884",
-   "metadata": {},
-   "outputs": [],
-   "source": [
-    "preds = []\n",
-    "gts = []\n",
-    "# quant_logits_list = []\n",
-    "for i in range(len(test_data)):\n",
-    "    inputs = feature_extractor(test_data[i][\"audio\"][\"array\"], sampling_rate=sampling_rate, return_tensors=\"pt\")\n",
-    "    with torch.no_grad():\n",
-    "        logits = loaded_quantized_model(**inputs)['logits']\n",
-    "#     quant_logits_list.append(logits)\n",
-    "    predicted_class_ids = torch.argmax(logits).item()\n",
-    "    predicted_label = config.id2label[predicted_class_ids]\n",
-    "    preds.append(predicted_label)\n",
-    "    gts.append(config.id2label[test_data[i]['label']])"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 10,
-   "id": "93b3c424-bab6-4774-915e-9e9f534f762d",
-   "metadata": {},
-   "outputs": [
-    {
-     "name": "stdout",
-     "output_type": "stream",
-     "text": [
-      "              precision    recall  f1-score   support\n",
-      "\n",
-      "        bark     0.5556    0.6250    0.5882         8\n",
-      "    growling     1.0000    0.8333    0.9091         6\n",
-      "        howl     0.7500    0.8571    0.8000         7\n",
-      "     panting     1.0000    0.8000    0.8889        10\n",
-      "     whimper     0.3750    0.4286    0.4000         7\n",
-      "\n",
-      "    accuracy                         0.7105        38\n",
-      "   macro avg     0.7361    0.7088    0.7172        38\n",
-      "weighted avg     0.7452    0.7105    0.7224        38\n",
-      "\n"
-     ]
-    }
-   ],
-   "source": [
-    "from sklearn.metrics import classification_report\n",
-    "test_performance = classification_report(gts, preds,digits=4)\n",
-    "print(test_performance)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "id": "99a3ea38-54c8-4aed-9bbf-12f98bf09dc5",
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  }
- ],
- "metadata": {
-  "kernelspec": {
-   "display_name": "g3p8",
-   "language": "python",
-   "name": "g3p8"
-  },
-  "language_info": {
-   "codemirror_mode": {
-    "name": "ipython",
-    "version": 3
-   },
-   "file_extension": ".py",
-   "mimetype": "text/x-python",
-   "name": "python",
-   "nbconvert_exporter": "python",
-   "pygments_lexer": "ipython3",
-   "version": "3.7.9"
-  }
- },
- "nbformat": 4,
- "nbformat_minor": 5
-}

.ipynb_checkpoints/text_label-checkpoint.json

@@ -1,528 +0,0 @@
-{
-	"bark": [
-		[
-			"너무 신나서 어쩌지?",
-			"긍정"
-		],
-		[
-			"집사, 놀아줘!",
-			"긍정"
-		],
-		[
-			"지금 너무 신나!",
-			"긍정"
-		],
-		[
-			"누가 왔나 봐!",
-			"긍정"
-		],
-		[
-			"놀아줘!! 놀아달란말이야!!",
-			"긍정"
-		],
-		[
-			"안녕 🐶",
-			"긍정"
-		],
-		[
-			"난 너를 좋아하는 걸, 그런데 너는 나를 좋아해?",
-			"긍정"
-		],
-		[
-			"주목해줘! 놀자!",
-			"긍정"
-		],
-		[
-			"놀이 시간이야, 같이 놀자!",
-			"긍정"
-		],
-		[
-			"다가오지마!",
-			"부정"
-		],
-		[
-			"뭔가 이상한 소리 들려!",
-			"부정"
-		],
-		[
-			"경계해, 경계해!",
-			"부정"
-		],
-		[
-			"아니야, 아니야!",
-			"부정"
-		],
-		[
-			"건들지마!!!!",
-			"부정"
-		],
-		[
-			"뭔가 불안해, 도와줘!",
-			"부정"
-		],
-		[
-			"주인~ 뭐해~?",
-			"중립"
-		],
-		[
-			"밖에 뭐가 있는 거 같아!",
-			"중립"
-		],
-		[
-			"이리 와봐!",
-			"중립"
-		],
-		[
-			"날 보고있어?",
-			"중립"
-		],
-		[
-			"밖에 뭐 있어?",
-			"중립"
-		],
-		[
-			"이거 내꺼야!",
-			"중립"
-		],
-		[
-			"물 마실래, 마실 것 좀 줘.",
-			"중립"
-		],
-		[
-			"목이 말라, 물 좀 줄래?",
-			"중립"
-		]
-	],
-	"growling": [
-		[
-			"나 좀 내버려 둬!",
-			"부정"
-		],
-		[
-			"더 이상 다가오지마!",
-			"부정"
-		],
-		[
-			"너무 까다로워!",
-			"부정"
-		],
-		[
-			"내가 경계하고 있어!",
-			"부정"
-		],
-		[
-			"빨리 이리 와!",
-			"부정"
-		],
-		[
-			"나 너무 화나!",
-			"부정"
-		],
-		[
-			"나 싸울 준비됐어!",
-			"부정"
-		],
-		[
-			"그만 좀 해!",
-			"부정"
-		],
-		[
-			"내게 장난치지마!",
-			"부정"
-		],
-		[
-			"나 지금 너무 짜증나!",
-			"부정"
-		],
-		[
-			"나 지금 안 좋아!",
-			"부정"
-		],
-		[
-			"다가오지마!",
-			"부정"
-		],
-		[
-			"너에게 화난 거야!",
-			"부정"
-		],
-		[
-			"좀 멀리 가!",
-			"부정"
-		],
-		[
-			"나 싸우려고 준비됐어!",
-			"부정"
-		],
-		[
-			"한번 더 건드리면 물어버릴거야!!!",
-			"부정"
-		],
-		[
-			"나한테 이렇게 위협적으로 다가오지마!",
-			"부정"
-		],
-		[
-			"나의 영역을 침범하면 안돼! 이해해줘!",
-			"부정"
-		],
-		[
-			"그만 좀 귀찮게 해! 내가 분명히 경고했잖아!",
-			"부정"
-		],
-		[
-			"불편해, 물러서줘.",
-			"부정"
-		],
-		[
-			"경고하는 거야, 가까이 오지 마.",
-			"부정"
-		],
-		[
-			"좀 너무 가까워, 거리 좀 둬.",
-			"부정"
-		],
-		[
-			"나를 방해하지 마, 신경 써줘.",
-			"부정"
-		],
-		[
-			"내가 불편해, 거리 좀 두고 있어.",
-			"부정"
-		],
-		[
-			"가까이 오지 마.",
-			"부정"
-		],
-		[
-			"나를 방해하지 마, 존중해줘. Respect Me!!",
-			"부정"
-		]
-	],
-	"howl": [
-		[
-			"나 여기있어, 봐줘!",
-			"중립"
-		],
-		[
-			"너 어디 갔어?!",
-			"중립"
-		],
-		[
-			"나 너무 외로워!",
-			"중립"
-		],
-		[
-			"이리 와봐, 나 있는 곳으로!",
-			"중립"
-		],
-		[
-			"너 없으면 너무 심심해!",
-			"중립"
-		],
-		[
-			"나도 같이 가고 싶어!",
-			"중립"
-		],
-		[
-			"나 심심해",
-			"중립"
-		],
-		[
-			"어디야? 나 찾아봐!",
-			"중립"
-		],
-		[
-			"언제 오려고 그래?",
-			"중립"
-		],
-		[
-			"나는 여기 있는데!",
-			"중립"
-		],
-		[
-			"빨리 돌아와줘!",
-			"중립"
-		],
-		[
-			"나 혼자 남겨두지 마!",
-			"중립"
-		],
-		[
-			"나 여기있어!! 나좀 봐줘!!!",
-			"중립"
-		],
-		[
-			"나 잘 보고 있어? 나 괜찮아?",
-			"중립"
-		],
-		[
-			"주인, 나 좀 안아줄 수 있을까?",
-			"중립"
-		],
-		[
-			"외로워, 보고 싶어.",
-			"중립"
-		],
-		[
-			"다른 강아지와 '합창'하고 싶어.",
-			"중립"
-		],
-		[
-			"너를 보고싶어, 언제 와?",
-			"중립"
-		],
-		[
-			"무언가 알려고 하는 중이야.",
-			"중립"
-		],
-		[
-			"다른 강아지들이랑 노래하고 싶어.",
-			"긍정"
-		]
-	],
-	"panting": [
-		[
-			"더워~ 에어컨 켜줘.",
-			"부정"
-		],
-		[
-			"운동 후 휴식 중이야.",
-			"중립"
-		],
-		[
-			"숨이 차, 좀 도와줘.",
-			"부정"
-		],
-		[
-			"휴식이 필요해, 좀 쉬자.",
-			"부정"
-		],
-		[
-			"너무 더워, 물 좀 줄래?",
-			"부정"
-		],
-		[
-			"너무 더워, 바람 좀 쐬자.",
-			"부정"
-		],
-		[
-			"힘들게 운동했어, 휴식 좀!",
-			"부정"
-		],
-		[
-			"숨이 차, 쉬는 시간이 필요해.",
-			"부정"
-		],
-		[
-			"휴식이 필요해, 조용히 좀...",
-			"부정"
-		],
-		[
-			"물 좀 마시고 싶어, 줄래?",
-			"중립"
-		],
-		[
-			"많이 뛰어서 힘들어, 휴식이 필요해.",
-			"부정"
-		],
-		[
-			"휴식이 필요해, 좀 더 쉬자.",
-			"중립"
-		],
-		[
-			"너무 더워서 물 좀 마시고 싶어.",
-			"중립"
-		],
-		[
-			"좀 더운 �� 같아, 바람 좀 쐬고 싶어.",
-			"중립"
-		],
-		[
-			"지금 좀 쉴 시간이 필요해, 잠시만 기다려.",
-			"중립"
-		],
-		[
-			"지금 진정할 시간이 필요해!!!",
-			"중립"
-		],
-		[
-			"나 지금 너무 신나",
-			"긍정"
-		],
-		[
-			"너랑 놀면 더 재밌을 것 같아",
-			"긍정"
-		],
-		[
-			"나랑 놀지 않을래?",
-			"긍정"
-		],
-		[
-			"밖에 나가면 재미난 일이 있을 것 같아!",
-			"긍정"
-		],
-		[
-			"오늘은 무슨 일이 있을까? 좋은 일이 생길 것 같아!",
-			"긍정"
-		],
-		[
-			"세상 모든 것들이 반가워~",
-			"긍정"
-		],
-		[
-			"너랑 친해지고 싶어~",
-			"긍정"
-		],
-		[
-			"오늘 기분 아주 나이스~",
-			"긍정"
-		],
-		[
-			"세상에서 제일 좋아!!",
-			"긍정"
-		],
-		[
-			"나 지금 기분이가 좋아~",
-			"긍정"
-		],
-		[
-			"너랑 놀고싶어~",
-			"긍정"
-		],
-		[
-			"오늘 되게 행복한 하루다~",
-			"긍정"
-		],
-		[
-			"오늘 내 생일인가? 너무 행복해><",
-			"긍정"
-		],
-		[
-			"만나서 반가워",
-			"긍정"
-		],
-		[
-			"너는 이름이 뭐니?",
-			"긍정"
-		],
-		[
-			"난 너가 좋아!!",
-			"긍정"
-		],
-		[
-			"나 매우 재밌어",
-			"긍정"
-		],
-		[
-			"나랑 같이 놀러 나가자",
-			"긍정"
-		]
-	],
-	"whimper": [
-		[
-			"나 너무 두려워",
-			"부정"
-		],
-		[
-			"나 지금 너무 외로워",
-			"부정"
-		],
-		[
-			"나 너무 슬퍼",
-			"부정"
-		],
-		[
-			"나 좀 안아줘",
-			"부정"
-		],
-		[
-			"나 지금 너무 불편해",
-			"부정"
-		],
-		[
-			"나 너무 피곤해",
-			"부정"
-		],
-		[
-			"조금만 더 안아줘",
-			"부정"
-		],
-		[
-			"나 좀 위로해줘",
-			"부정"
-		],
-		[
-			"나 기다리는 중",
-			"부정"
-		],
-		[
-			"외로워서 눈물이 나",
-			"부정"
-		],
-		[
-			"나 상처받았어, 너무 두려워...ㅠㅡㅠ",
-			"부정"
-		],
-		[
-			"나 놀래쪄ㅠㅡㅠ 힝구힝구..",
-			"부정"
-		],
-		[
-			"무셔워... 안아죠~~~",
-			"부정"
-		],
-		[
-			"너무 슬퍼서 맘이 아파... 안아줘...",
-			"부정"
-		],
-		[
-			"나 기분이 너무 안 좋아... 어떻게 해줄래?",
-			"부정"
-		],
-		[
-			"힝...미안해...",
-			"부정"
-		],
-		[
-			"불안해, 곁에 있어줘.",
-			"부정"
-		],
-		[
-			"밖으로 나가고 싶어.",
-			"중립"
-		],
-		[
-			"미안해, 실수했어.",
-			"부정"
-		],
-		[
-			"너무 슬퍼, 위로 좀 해줘.",
-			"부정"
-		],
-		[
-			"스트레스 받았어, 도와줘.",
-			"부정"
-		],
-		[
-			"내가 불안해, 붙어있어줘.",
-			"부정"
-		],
-		[
-			"너무 외로워, 애정을 보여줘.",
-			"부정"
-		],
-		[
-			"산책 좀 가고 싶어.",
-			"중립"
-		],
-		[
-			"정말 슬퍼, 안아줘.",
-			"부정"
-		],
-		[
-			"스트레스가 너무 많아, 안아줘.",
-			"부정"
-		]
-	]
-}

.ipynb_checkpoints/text_mapping_example-checkpoint.ipynb

@@ -1,90 +0,0 @@
-{
- "cells": [
-  {
-   "cell_type": "code",
-   "execution_count": 13,
-   "id": "8f925fb7-86ba-487f-ab85-88754d777860",
-   "metadata": {
-    "tags": []
-   },
-   "outputs": [],
-   "source": [
-    "import json\n",
-    "with open(\"text/text_label.json\",\"r\",encoding='utf-8')  as f:\n",
-    "    text_label = json.load(f)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 14,
-   "id": "d2c0a048-1db7-4236-9f26-539ed31d3d27",
-   "metadata": {
-    "tags": []
-   },
-   "outputs": [],
-   "source": [
-    "import random\n",
-    "random.seed(0)\n",
-    "def post_process(model_output,text_label):\n",
-    "    text_list = text_label[model_output]\n",
-    "    text,sent = random.sample(text_list,1)[0]\n",
-    "    return {'label' : model_output,\n",
-    "            'text' : text,\n",
-    "            'sentiment' : sent}"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": 15,
-   "id": "f8ca0ad8-bc0c-4766-8e13-fe093c5290df",
-   "metadata": {
-    "tags": []
-   },
-   "outputs": [
-    {
-     "data": {
-      "text/plain": [
-       "{'label': 'bark', 'text': '아니야, 아니야!', 'sentiment': '부정'}"
-      ]
-     },
-     "execution_count": 15,
-     "metadata": {},
-     "output_type": "execute_result"
-    }
-   ],
-   "source": [
-    "model_output = 'bark'\n",
-    "post_process(model_output,text_label)"
-   ]
-  },
-  {
-   "cell_type": "code",
-   "execution_count": null,
-   "id": "da690a64-4dea-4b2a-89c1-23ea8bad955c",
-   "metadata": {},
-   "outputs": [],
-   "source": []
-  }
- ],
- "metadata": {
-  "kernelspec": {
-   "display_name": "Python 3 (ipykernel)",
-   "language": "python",
-   "name": "python3"
-  },
-  "language_info": {
-   "codemirror_mode": {
-    "name": "ipython",
-    "version": 3
-   },
-   "file_extension": ".py",
-   "mimetype": "text/x-python",
-   "name": "python",
-   "nbconvert_exporter": "python",
-   "pygments_lexer": "ipython3",
-   "version": "3.10.8"
-  }
- },
- "nbformat": 4,
- "nbformat_minor": 5
-}

app.py

@@ -7,11 +7,12 @@ from transformers import pipeline
 from datasets import Dataset, Audio
 import gradio as gr
 import torch
-
+from utils.postprocess import text_mapping
+import json
 # Set model & Dataset NM
 MODEL_NAME = "Gae8J/gaepago-20"
 DATASET_NAME = "Gae8J/modeling_v1"
-
+TEXT_LABEL = "text_label.json"
 # Import Model & feature extractor
 # model = AutoModelForAudioClassification.from_pretrained(MODEL_NAME)
 from transformers import AutoConfig
@@ -21,6 +22,9 @@ feature_extractor = AutoFeatureExtractor.from_pretrained(MODEL_NAME)
 
 # 모델 cpu로 변경하여 진행
 model.to("cpu")
+# TEXT LABEL 불러오기
+with open(TEXT_LABEL,"r",encoding='utf-8')  as f:
+    text_label = json.load(f)
 
 # Gaepago Inference Model function
 def gaepago_fn(tmp_audio_dir):
@@ -37,7 +41,10 @@ def gaepago_fn(tmp_audio_dir):
     predicted_class_ids = torch.argmax(logits).item()
     predicted_label = config.id2label[predicted_class_ids]
     
-    return predicted_label
+    # add postprocessing
+    ## 1. text mapping
+    output = text_mapping(predicted_label,text_label)
+    return output
 
 # Main
 example_list = ["./sample/bark_sample.wav"

text_mapping_example.ipynb

@@ -82,7 +82,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.8.16"
+   "version": "3.10.8"
   }
  },
  "nbformat": 4,

utils/postprocess.py

@@ -0,0 +1,8 @@
+import random
+
+def text_mapping(model_output,text_label):
+    text_list = text_label[model_output]
+    text,sent = random.sample(text_list,1)[0]
+    return {'label' : model_output,
+            'text' : text,
+            'sentiment' : sent}