我们来看下面几个语料：

1
s1 = 'albums sold 500,000 copies' # tokenizer 如何处理数字
2
s2 = 'techically perfect, melodically correct' # tokenizer 如何处理类似 melodically 这样的单词
3
s3 = 'featuring a previously unheard track' # tokenizer 如何处理 unheard 这样的单词
4
s4 = 'best-selling music artist' # tokenizer 如何处理连字符
5
s5 = 's1 d1 o1 and o2' # tokenizer 如何处理缩写和数字
6
s6 = 'asbofwheowbeif' # tokenizer 如何处理未知词汇

0. 实例化 tokenizer#

1
from transformers import BertTokenizer

1
model_name = 'bert-base-uncased'
2
tokenizer = BertTokenizer.from_pretrained(model_name)

1. `vocab`#

tokenizer.vocab vs. tokenizer.convert_ids_to_tokens
len(tokenizer.vocab) == 30522

下面我们先看看 tokenizer 的词表：

1
tokenizer.vocab
2
tokenizer.convert_ids_to_tokens

输出为：

1
{'butt': 10007,
2
 'film': 2143,
3
 '##kia': 21128,
4
 'bart': 12075,
5
 'wrath': 14532,
6
 'humidity': 18213,
7
 'streetcar': 21420,
8
 'unable': 4039,
9
 'taiwanese': 16539,
10
 '[unused908]': 913,
11
 'lyman': 27587,
12
 'slain': 19668,
13
 '[unused182]': 187,
14
 'regimental': 17604,
15
 'prolonged': 15330,
16
 'libraries': 8860,
17
 'explicitly': 12045,
18
 '38th': 22051,
19
 'extinction': 14446,
20
 '\\': 1032,
21
 'mammals': 11993,
22
 'constraint': 27142,
23
 'masters': 5972,
24
 'madeira': 27309,
25
 '##pee': 28084,
26
...
27
 'eyebrow': 9522,
28
 'rushes': 18545,
29
 'kung': 18577,
30
 'isla': 25340,
31
 ...}
32

33
<bound method TokenizersBackend.convert_ids_to_tokens of BertTokenizer(name_or_path='bert-base-uncased', vocab_size=30522, model_max_length=512, padding_side='right', truncation_side='right', special_tokens={'unk_token': '[UNK]', 'sep_token': '[SEP]', 'pad_token': '[PAD]', 'cls_token': '[CLS]', 'mask_token': '[MASK]'}, added_tokens_decoder={
34
  0: AddedToken("[PAD]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
35
  100: AddedToken("[UNK]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
36
  101: AddedToken("[CLS]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
37
  102: AddedToken("[SEP]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
38
  103: AddedToken("[MASK]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
39
})>

实际上，tokenizer.vocab 与 tokenizer.convert_ids_to_tokens 是相对应的：

tokenizer.vocab 展示了 word 与 id 的对应关系；
tokenizer.convert_ids_to_tokens 则展示了 id 与 word 的对应关系。

1
len(tokenizer.vocab) # 30522
2

3
tokenizer.vocab['[UNK]'] # 100

词表大小 30522
[UNK] 对应的 id 为 100

2. 样本子词测试#

1
print(tokenizer(s1))
2
print(tokenizer(s2))
3
print(tokenizer(s3))
4
print(tokenizer(s4))
5
print(tokenizer(s5))
6
print(tokenizer(s6))

输出为：

1
{'input_ids': [101, 4042, 2853, 3156, 1010, 2199, 4809, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1]}
2

3
{'input_ids': [101, 6627, 15004, 3819, 1010, 17187, 3973, 6149, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1]}
4

5
{'input_ids': [101, 3794, 1037, 3130, 4895, 26362, 2650, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1]}
6

7
{'input_ids': [101, 2190, 1011, 4855, 2189, 3063, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1]}
8

9
{'input_ids': [101, 1055, 2487, 1040, 2487, 1051, 2487, 1998, 1051, 2475, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
10

11
{'input_ids': [101, 2004, 5092, 2546, 2860, 5369, 5004, 19205, 2546, 102], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}

1
print(tokenizer.tokenize(s1))
2
print(tokenizer.tokenize(s2))
3
print(tokenizer.tokenize(s3))
4
print(tokenizer.tokenize(s4))
5
print(tokenizer.tokenize(s5))
6
print(tokenizer.tokenize(s6))

输出为：

1
['albums', 'sold', '500', ',', '000', 'copies']
2
['tech', '##ically', 'perfect', ',', 'melodic', '##ally', 'correct']
3
['featuring', 'a', 'previously', 'un', '##heard', 'track']
4
['best', '-', 'selling', 'music', 'artist']
5
['s', '##1', 'd', '##1', 'o', '##1', 'and', 'o', '##2']
6
['as', '##bo', '##f', '##w', '##he', '##ow', '##bei', '##f']

2.1 `##` 符号是什么意思#

## 是 WordPiece 分词算法（BERT 使用的分词方法）中的一个重要标记。它表示这个子词（subword）是某个单词的”后续部分”，不是新词的开头。

换句话说，在还原回原句时，## 前面的部分和 ## 后面的部分是要拼在一起的。

2.1.1 具体例子分析#

例 1：`s2 = "techically perfect, melodically correct"`#

1
['tech', '##ically', 'perfect', ',', 'melodic', '##ally', 'correct']

"tech" + "##ically" = technically（原词被拆成两部分）
"melodic" + "##ally" = melodically（同理）

词表中没有完整的 "technically" 这个词，但有 "tech" 和 "##ically"，所以 WordPiece 把它们拼起来表示原词。

例 2：`s3 = "featuring a previously unheard track"`#

1
['featuring', 'a', 'previously', 'un', '##heard', 'track']

"un" + "##heard" = unheard（原词被拆为前缀 + 剩余部分）

例 3：`s5 = "s1 d1 o1 and o2"`#

1
['s', '##1', 'd', '##1', 'o', '##1', 'and', 'o', '##2']

"s" + "##1" = s1，"d" + "##1" = d1，"o" + "##1" = o1，"o" + "##2" = o2
词表中没有 "s1" 这个完整词，但有 "s" 和 "##1"，所以拼起来

例 4：`s6 = "asbofwheowbeif"`（生造词）#

1
['as', '##bo', '##f', '##w', '##he', '##ow', '##bei', '##f']

这是一个不存在的词，词表中完全没有
WordPiece 会尽可能用已知子词来拼凑："as" + "##bo" + "##f" + "##w" + "##he" + "##ow" + "##bei" + "##f"
注意：这里没有出现 [UNK]（未知标记），说明 WordPiece 成功用子词拼了出来

2.1.2 词表中的 `##` 长什么样？#

从前面打印的词表可以看到，## 开头的词条确实存在：

1
tokenizer.vocab
2
# ... '##kia': 21128, '##pee': 28084, ...

"##kia" 就是专门用来接在某个词根后面的子词。比如 "olympia" → "olym" + "##pi" + "##a"，但 "##kia" 可能出现在类似 "magnolia" → "magnol" + "##ia" 的场景中（具体取决于词表）。

2.1.3 总结一下#

符号	含义	示例
完整词	词表中直接有这个单词	`"albums"`, `"perfect"`, `"featuring"`
`##xxx`	是前一个子词的后缀，需要拼在一起	`"tech" + "##ically"` → `"technically"`
没有 `##`	表示新词的开头（或完整词）	`"un"`, `"melodic"` 都是独立子词的开头

所以通过 ## 标记，BERT 的 tokenizer 可以用有限的词表（30522 个词条）覆盖无限的词汇——即使没见过的词，也能拆成已知子词来理解。这正是 WordPiece 算法的核心思想 🎯"##kia" 就是专门用来接在某个词根后面的子词。比如 "olympia" → "olym" + "##pi" + "##a"，但 "##kia" 可能出现在类似 "magnolia" → "magnol" + "##ia" 的场景中（具体取决于词表）。

1
cnt_sharp = 0
2
for token, id in tokenizer.vocab.items():
3
    if token.startswith('##'):
4
        print(token, id)
5
        cnt_sharp += 1
6
print(cnt_sharp) # 5828

输出为：

1
##ode 10244
2
##■ 30144
3
##gai 23805
4
##ツ 30238
5
##ɹ 29691
6
##dice 24598
7
##gical 26715
8
##ake 13808
9
##edo 26010
10
##ר 29811
11
##gating 16961
12
##lese 24527
13
##aj 13006
14
##re 2890
15
##rians 23543
16
##宗 30347
17
##ates 8520
18
##rys 24769
19
##helm 24546
20
##dict 29201
21
##rained 27361
22
##lena 20844
23
##tale 22059
24
##water 5880
25
##ivist 21997
26
...
27
##hee 21030
28
##ق 29834
29
##rds 17811
30

31
5828

可见，词表中共有 5828 个 ## 开头的词。

3. Summary#

tokenizer 不会轻易将一个词处理为 [UNK] (100)
基于词表，tokenizer, encode, decode 为一体
- tokenize: word -> tokens(s), 将 word 尽可能地映射为 vocab 中的 keys
- encode: token -> id
- decode: id -> token -> word
  - encode 完后并不是终点，decode 还要能很好地将 id 还原，尽可能与输入的 word 对齐

音乐

音乐

0. 实例化 tokenizer#

1. `vocab`#

2. 样本子词测试#

2.1 `##` 符号是什么意思#

2.1.1 具体例子分析#

例 1：`s2 = "techically perfect, melodically correct"`#

例 2：`s3 = "featuring a previously unheard track"`#

例 3：`s5 = "s1 d1 o1 and o2"`#

例 4：`s6 = "asbofwheowbeif"`（生造词）#

2.1.2 词表中的 `##` 长什么样？#

2.1.3 总结一下#

3. Summary#

文章分享

评论区

音乐

文章目录

音乐

音乐

06_subword_wordpiece_tokenizer

0. 实例化 tokenizer#

1. vocab#

2. 样本子词测试#

2.1 ## 符号是什么意思#

2.1.1 具体例子分析#

例 1：s2 = "techically perfect, melodically correct"#

例 2：s3 = "featuring a previously unheard track"#

例 3：s5 = "s1 d1 o1 and o2"#

例 4：s6 = "asbofwheowbeif"（生造词）#

2.1.2 词表中的 ## 长什么样？#

2.1.3 总结一下#

3. Summary#

文章分享

评论区

音乐

文章目录

1. `vocab`#

2.1 `##` 符号是什么意思#

例 1：`s2 = "techically perfect, melodically correct"`#

例 2：`s3 = "featuring a previously unheard track"`#

例 3：`s5 = "s1 d1 o1 and o2"`#

例 4：`s6 = "asbofwheowbeif"`（生造词）#

2.1.2 词表中的 `##` 长什么样？#