Transformers documentation

BertJapanese

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

이 모델은 2020-11-16에 Hugging Face Transformers에 기여되었습니다.

BertJapanese

개요

일본어 텍스트로 학습된 BERT 모델입니다.

두 가지 다른 토큰화 방법을 사용하는 모델이 있습니다:

  • MeCab과 WordPiece를 사용하여 토큰화를 수행합니다. 이를 위해 MeCab을 감싸는 래퍼인 fugashi를 포함한 추가 의존성이 필요합니다.
  • 문자로 토큰화합니다.

MecabTokenizer를 사용하려면 pip install transformers["ja"](소스에서 설치하는 경우 pip install -e .["ja"])을 실행하여 종속성을 설치해야 합니다.

cl-tohoku 저장소의 세부 정보를 확인하세요.

MeCab과 WordPiece 토큰화를 사용하여 모델을 사용하는 예시:

import torch
from transformers import AutoModel, AutoTokenizer

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾輩 は 猫 で ある 。 [SEP]

outputs = bertjapanese(**inputs)

Character 토큰화를 사용하여 모델을 사용하는 예시:

bertjapanese = AutoModel.from_pretrained("cl-tohoku/bert-base-japanese-char", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-char")

## Input Japanese Text
line = "吾輩は猫である。"

inputs = tokenizer(line, return_tensors="pt").to(model.device)

print(tokenizer.decode(inputs["input_ids"][0]))
[CLS] 吾 輩 は 猫 で あ る 。 [SEP]

outputs = bertjapanese(**inputs)

이 모델은 cl-tohoku에 의해 기여되었습니다.

이 구현은 토큰화 방법만 제외하고 BERT와 동일합니다. API 참고 정보는 BERT 문서를 참조하세요.

BertJapaneseTokenizer

클래스 transformers.BertJapaneseTokenizer

< >

( vocab_filespm_file = Nonedo_lower_case = Falsedo_word_tokenize = Truedo_subword_tokenize = Trueword_tokenizer_type = 'basic'subword_tokenizer_type = 'wordpiece'never_split = Noneunk_token = '[UNK]'sep_token = '[SEP]'pad_token = '[PAD]'cls_token = '[CLS]'mask_token = '[MASK]'mecab_kwargs = Nonesudachi_kwargs = Nonejumanpp_kwargs = None**kwargs )

매개변수

  • vocab_file (str) — 한 줄에 하나의 워드피스가 포함된 어휘 파일의 경로.
  • spm_file (str, 선택 사항) — 어휘를 포함하는 SentencePiece 파일(일반적으로 .spm 또는 .model 확장자를 가짐)의 경로.
  • do_lower_case (bool, 선택, 기본값 True) — 입력을 소문자로 변환할지 여부입니다. do_basic_tokenize=True일 때만 효과가 있습니다.
  • do_word_tokenize (bool, 선택 사항, 기본값 True) — 단어 토큰화를 수행할지 여부.
  • do_subword_tokenize (bool, 선택 사항, 기본값 True) — 서브워드 토큰화를 수행할지 여부입니다.
  • word_tokenizer_type (str, 선택 사항, 기본값 "basic") — 워드 토크나이저의 유형입니다. [“basic”, “mecab”, “sudachi”, “jumanpp”] 중에서 선택할 수 있습니다.
  • subword_tokenizer_type (str, 선택 사항, 기본값 "wordpiece") — 서브워드 토크나이저의 유형입니다. [“wordpiece”, “character”, “sentencepiece”,] 중에서 선택합니다.
  • mecab_kwargs (dict, 선택) — MecabTokenizer 생성자에 전달되는 사전.
  • sudachi_kwargs (dict, 선택 사항) — SudachiTokenizer 생성자에 전달되는 사전.
  • jumanpp_kwargs (dict, 선택) — JumanppTokenizer 생성자에 전달되는 사전.

일본어 텍스트용 BERT 토크나이저를 구성합니다.

이 토크나이저는 대부분의 주요 메서드를 포함하는 PreTrainedTokenizer를 상속합니다. 해당 메서드에 대한 자세한 내용은 이 상위 클래스를 참고하세요.

convert_tokens_to_string

< >

( tokens )

단일 문자열 내 토큰(문자열) 시퀀스를 변환합니다.

Update on GitHub