Self-Supervised

释义 Definition

自监督的；自监督学习的：一种机器学习方法，不依赖人工标注的“正确答案”，而是从数据本身构造学习目标（例如用文本的上下文预测被遮盖的词、用图像的一部分预测另一部分），从而学习有用的表示。常见于自然语言处理与计算机视觉等领域。（也常与 unsupervised 接近，但强调“监督信号来自数据自身”。）

发音 Pronunciation (IPA)

/ˌself.suːˈpɝː.vaɪzd/

例句 Examples

Self-supervised learning can use millions of unlabeled images.
自监督学习可以利用数百万张未标注的图像。

By pretraining a model in a self-supervised way and then fine-tuning it on a small labeled dataset, we can often improve accuracy while reducing annotation costs.
先用自监督方式进行预训练，再在少量有标注的数据上微调，通常能在降低标注成本的同时提升准确率。

词源 Etymology

由 **self-**（“自我；自身”）与 supervised（“受监督的”）组合而来。这里的 “supervised” 并非指外部老师提供标签，而是指训练过程中仍然存在“监督信号”，只是这个信号由数据内部结构自动生成，因此称为“自监督”。

相关词 Related Words

• Supervised
• Unsupervised
• Semi-Supervised
• Pretraining
• Fine-Tuning
• Representation
• Contrastive
• Autoencoder

文学与作品 Literary Works

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（Devlin et al., 2018）——广泛使用自监督预训练（如掩码语言模型）。
• *A Simple Framework for Contrastive Learning of Visual Representations (SimCLR)*（Chen et al., 2020）——代表性的自监督对比学习方法。
• *Momentum Contrast for Unsupervised Visual Representation Learning (MoCo)*（He et al., 2020）——以自监督方式学习视觉表征。
• *Emerging Properties in Self-Supervised Vision Transformers (DINO)*（Caron et al., 2021）——自监督在视觉Transformer中的典型工作。