首页新闻找找看学习计划

机器学习 深度学习 中 有个关于权重的问题

0
悬赏园豆:30 [已解决问题] 解决于 2019-11-13 17:33

简单例子;我们做个猫狗分类,有猫狗训练图片 。只分两类 。 我们是不是应该要做以下大概步骤 .

1,图片 换算矩阵 rgb三通道 换算 做出 换维度的新的材料。
2,卷积 ,池化, 用各个神经元上的权重参数 w1 w2。。。。 wx 去和提取的特征做乘法 然后 在相加 在加上 偏执值 b 。最后输出 2个结果 都为0-1直接的 小数 对应猫的参数的结果 越接近1那么也就是说 猫的概率越大 比如 0.6是猫 0.4是狗 。
3,由于 0.6 还不够接近1 所以我们 用误差 来反向传播进网络 ,并且反复 反正传播 最终 损失值loss 越来越小。使得w1 w2 。。。。wx 更科学 。

以上 是我对 图片识别分类任务流程的 基本认识 如果不对请指正。

下面问题来了:
问 ,
w1 w2.。。。wx 和 偏执b 这些就是我们从第一张图片经过有监督学习 反复反向传播 得到的权重值。 可是我们有了这些权重后又该做些什么。

那么我们如果 把第二张 图片 用上述的 卷积 池化等等步骤 处理 ,然后 和我们已经得到的w1 w2.。。。wx 以及b 做运算 也会得到 2个结果 。

那这2个结果 如果不准确 我们下一步要做什么 ?是继续做反向传播吗? 如果继续 那么我们将会得到新的w1 w2 。。。wx 和b 。新的到的权重值 又有什么用呢 第二次得到的这些权重值 应用到第一张图片上 还能得出 正确的结果吗。

这就是我的问题 我没有搞懂 权重 值 如何继承下来 变成我们所说的经验 也就是说 我没有搞懂 权重是 如何通过训练 得到经验

< >
分享
最佳答案
0

权重在初始化之后,会根据你的输入得到输出,一开始的输出与真实数据相比,准确率肯定不高,这个时候会不断的执行梯度下降,更新权重,来降低你训练的误差值,你每一次输入,都在对权重进行更新,以降低你训练的误差

收获园豆:30
杨宇的爸爸 | 小虾三级 |园豆:559 | 2019-11-10 10:52

有没有可能出现这样的情况 第一张图片我得到 loss很小的权重后 给他第二张图片训练 更新权重 但是这个权重 是和第二个图片误差降低得到的 然后再去给他第三到 第一万张图片

而从新回到第一张图片 让他去识别的时候 结果却是错的 因为 权重已经改变 呢

我就是不大清楚一个问题 权重 如何具有 兼顾性 就是满足所有的训练图片的loss值最小 也就是说 权重 是如何 变得既让后面训练的图片满足 loss小 也满足测试过得原来的图片上从新应用时候 也loss小 呢 权重不是随着 不断的训练改变了吗

或者有没有那样一本书 或者文章 视频 讲这个部分原理的推荐下也行

猫也要做大王 | 园豆:51 (初学一级) | 2019-11-12 01:46

@猫也要做大王: 你现在说的,一张一张训练的方法,是随机梯度下降,你可以搜一下,随机梯度下降、批梯度下降和小批量梯度下降。训练的目的,并不是提高单个数据的准确率,而是提高总体的准确率,虽然确实可能出现你说的情况,但是随着训练的增加,整体的准确率是在上升的,总损失会以震荡的方式下降

杨宇的爸爸 | 园豆:559 (小虾三级) | 2019-11-12 17:16

@杨宇的爸爸: 大概明白了 是不是 比如训练集1万图 整体对训练集 进行训练 得到权重的准确率
然后再次对整体训练集进行训练 n次 最终 整个训练集 全面提高准确率

使得 权重 在整体1万个图片上同时满足 loss最小 从而 实现权重在测试数据中的准确性 经过不断的梯度下降 最终 训练集图片越多 测试结果越好

好像明白了 我把训练看成一张 一张的训练了 没有把 1万张看成一个整体 不断的对整体1万张进行训练
是这样吗

猫也要做大王 | 园豆:51 (初学一级) | 2019-11-12 17:59

@猫也要做大王: 就算你不循环,如果你的数据量够多,也可以达到效果,不过一般都是会循环训练

杨宇的爸爸 | 园豆:559 (小虾三级) | 2019-11-13 14:12
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册