试试自监督学习，CV训练新利器

，让我们一起看下，自监督学习到底有多厉害。

自监督学习简介

在多数情况下，训练神经网络都应该从一个预训练(pre-trained)模型开始，然后再对它进行微调。

通过预训练模型，可以比从头开始训练，节省1000倍的数据。

那么试想一下，你所在的领域中，要是没有预训练模型，该怎么办？

例如在医学图像领域，就很少有预先训练过的模型。

而最近有一篇比较有意思的论文，就对这方面问题做了研究。
 

究发现，即便使用ImageNet模型(预训练过的)中的前几层(early layers)，也可以提高医学成像模型的训练速度和最终准确性。

所以说，即便某个通用预训练模型，不在你的研究领域范围内，也可以尝试使用它。

然而，这项研究也指出了一个问题：

其改进程度并不大。

那有没有不需要大量数据，还能取得较好效果的技术呢？

自监督学习就是一个秘密武器。

它可以被看作是机器学习的一种“理想状态”，模型直接从无标签数据中自行学习，无需标注数据。

举个例子，ULMFiT(一种NLP训练方法)的关键就是自监督学习，极大的提高了NLP领域的技术水平。

（编辑：济宁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!