齐齐哈尔招聘信息:(超参数)、验证集和K-折交叉验证

admin 7个月前 (04-02) 科技 51 0

Sunbet

Sunbet www.sunbet.xyz“是”Sunbet‘指定<的>’Sunbet〖官网〗,Sunbet‘提供’Sunbet(Sunbet)、Sunbet、【申】博<代>理合作等业务。

,
  • 「本文首发自公众号」[:RAIS

​ 前言[

(本系列文章【为】) 《Deep Learning》 <读书>笔记,〖可以参看原书一起阅读〗,{效果更佳}。

「超<“参数”>」

  • <“参数”>:(「网络」)模型在训练过程中<不断>学习自动调节<的>变“量”, 比如网[络<的>权重和偏差;
  • 「超<“参数”>」:{控}制模型、算法<的><“参数”>,“是”架构层面<的><“参数”>,一般不“是”通过算法学习 出来<的>[,<比如学习>率、{迭<代>【<次>】数}、<激活函数和层>数等。

与「超<“参数”>」对比<的>概念“是”<“参数”>,“我们平”时训练「网络」所说“<的>调参”,指<的>“是”调节 「超<“参数”>」。「超<“参数”>」<的>【确定】{方}法一般“是”凭借经验,『或者』类似「问‘题’」<的><“参数”>迁移。

「问‘题’」来了,【为】啥「超<“参数”>」不通过学习【确定】?这“是”因【为】这个<“参数”>不那「么好优化」,“并且稍不”留神通过学习【{方}法去】优化就可能导致【过拟合】。你可能认【为】模拟人“<的>调参”过程,进行「超<“参数”>」<的>调节不就「好了」,当然这“是”可以<的>,「超<“参数”>」也不“是”完全不可“以用程”序优化<的>,但“是”现有<的>理论还不成『熟』,{还没有理论去有效<的>}指{导实践},这还“是”一个新兴领域,“因此还有”许多工作要做,很多情况下“是”凭经验,《凭直觉进行优》化<的>,【算法表现并不好】。

{我们知道},“更高”【<次>】<的>多项式和权重衰减<“参数”>设定 λ=0 总“是”能更好<的>拟合,会【过拟合】,对于这个「问‘题’」,〖我们〗会考虑用<‘验证’集><的>{方}法,〖<‘验证’集>在我们前文〗《人工智能二分类「问‘题’」》『中提到过』。

<‘验证’集>

<‘验证’集>“是”用来训练「超<“参数”>」<的>,“是”用来给「网络」‘提供’反馈<的>。<我们用『训』练集去训练一><个「网络」>模型,训练出<的><“参数”>固定下来,然后将<‘验证’集><的>数据应 用到这个模型上[,(会得到偏差),{我们根据这个偏差},调整「超<“参数”>」,(然后重新)去训练「网络」,重复迭<代>一定<的>【<次>】数,会调节出一个「超<“参数”>」还不错<的>「网络」,基于这个「超<“参数”>」训练出<的>模型,《可以最终到测试》集合上‘验证’,最终【确定】在‘{测试集}’上表“现如何”。〖下面〗举个例子:

这“是”之前在《人工智能二分类「问‘题’」》中<的>一张图,我们看到‘验证’损失在迭<代> 4 “【<次>】之后大”幅上升,这就“是”由于我们训练【<次>】数迭<代>过多导致<的>,{迭<代>【<次>】数}这个「超<“参数”>」设置<的>不合理,因此我们更改{迭<代>【<次>】数}【为】 4 【<次>】。这就“是”根据<‘验证’集>调节「超<“参数”>」<的>一个例子。

数据“量”小,『训』练集:<‘验证’集>:‘{测试集}’=6:2:2,数据“量”足够大,『训』练集:<‘验证’集>:‘{测试集}’=98:1:1。这算“是”一个经验值吧。

K-折交叉‘验证’

我们在之前<的> 《{预测房价}》 「问‘题’」中有提到过交叉‘验证’这个{方}法,这个{方}法用于解决<的>「问‘题’」就“是”数据“量”太小<的>「问‘题’」,而导致<的>对「网络」测试误差估计不准<的>「问‘题’」,K-折交叉‘验证’ “是”其中最常见<的>。

(从上图)中,我们可以清楚<的>看到K-折交叉‘验证’<的>{方}法具体“是”怎么做<的>。由于数据“量”不够大,因此我们把数据分【为】 K “份”,〖循环〗 K 【<次>】,每【<次>】分别选取其中<的>一“份”作【为】‘{测试集}’,这样根据我们训练出<的>「网络」,{我}们可以分别求出每一【<次>】<的>测试误差,〖用这〗 K 〖个测试〗误差求其平均值,我们就估计其【为】这个「网络」<的>测试误差。

「总结」

我们本篇文章介绍了<“参数”>和「超<“参数”>」<的>区别,调参指<的>“是”调节「超<“参数”>」,并且介绍了在数据“量”较小<的>情况下如何如何去(估计测试误差)。

  • 「本文首发自公众号」[:RAIS
Allbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:齐齐哈尔招聘信息:(超参数)、验证集和K-折交叉验证

网友评论

  • (*)

最新评论

文章归档

站点信息

  • 文章总数:453
  • 页面总数:0
  • 分类总数:8
  • 标签总数:815
  • 评论总数:116
  • 浏览总数:3896