saymrwulf/transformers
1
0
Fork 0
mirror of https://github.com/saymrwulf/transformers.git synced 2026-05-14 20:58:08 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions
transformers/docs/source/ja/internal/tokenization_utils.md
Rockerz b002353dca
Translating en/internal folder docs to Japanese 🇯🇵 (#26747) 
* Add translation to fitst 3 file of internal folder

* Update Toctree.md and add files

* Update docs/source/ja/internal/generation_utils

Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com>

* Rename generation_utils file

* rename pipelines_utils.md

* Change file names

---------

Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com>
2023-10-17 15:01:21 -07:00

1.6 KiB
Raw Blame History

Utilities for Tokenizers

このページには、トークナイザーによって使用されるすべてのユーティリティ関数 (主にクラス) がリストされます。 [~tokenization_utils_base.PreTrainedTokenizerBase] 間の共通メソッドを実装します。 [PreTrainedTokenizer] と [PreTrainedTokenizerFast] およびミックスイン [~tokenization_utils_base.SpecialTokensMixin]。

これらのほとんどは、ライブラリ内のトークナイザーのコードを学習する場合にのみ役に立ちます。

PreTrainedTokenizerBase

autodoc tokenization_utils_base.PreTrainedTokenizerBase - call - all

SpecialTokensMixin

autodoc tokenization_utils_base.SpecialTokensMixin

Enums and namedtuples

autodoc tokenization_utils_base.TruncationStrategy

autodoc tokenization_utils_base.CharSpan

autodoc tokenization_utils_base.TokenSpan