BERT

Definition / 定义

BERT 通常指自然语言处理中的预训练语言模型名称，缩写自 Bidirectional Encoder Representations from Transformers（基于 Transformer 的双向编码表示）。它通过在大量文本上预训练，学习上下文语义，常用于文本分类、问答、命名实体识别等任务。
（也可作人名 Bert，常见为 Albert、Bertram 等名字的昵称。）

Pronunciation / 发音

/ bɝːt /

Examples / 例句

BERT helps the chatbot understand my question.
BERT 帮助聊天机器人理解我的问题。

After fine-tuning BERT on our dataset, the model achieved much higher accuracy in sentiment analysis.
在我们的数据集上对 BERT 进行微调后，模型在情感分析中的准确率大幅提高。

Etymology / 词源

作为 NLP 术语的 BERT 来自 2018 年提出的模型名称缩写：Bidirectional Encoder Representations from Transformers，强调“双向”上下文理解（同时利用左、右两侧语境）与 Transformer 编码器结构。
作为人名的 Bert 则源自日耳曼语系名字成分（如 berht，意为“明亮、光辉”），常用于多个传统英文名字的简称。

Related Words / 相关词

• Transformer
• Attention
• Encoder
• Pretraining
• Finetuning
• Embedding
• Token
• GPT

Literary Works / 文学与著作例证

• Devlin, Jacob et al. (2018). *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.*（论文标题中直接出现 “BERT”）
• Lewis Tunstall, Leandro von Werra, Thomas Wolf (2022). *Natural Language Processing with Transformers.*（书中多处讨论 BERT 及其变体与应用）
• Denis Rothman (2021/2022 editions). *Transformers for Natural Language Processing.*（介绍并使用 BERT 进行多种 NLP 任务示例）