求解方程，是否就是我所说的，求解那些经验风险和结构风险函数呢？
要不然，模型中还有什么函数需要求解的么？

@老笨啊: 用最简单的线性回归举例：代价函数就是应用最小二乘法得到的，梯度下降法是用来求解代价函数的解的。其实用最小二乘法得到的代价函数有个公式可以直接计算出解，但是涉及到矩阵求逆，数据量大了计算慢，所以用梯度下降来解。

最小二乘法就是：找到一个线性函数的参数，使得通过该函数得到的所有结果和对应样本中的标记的差的平方和最小。

你说的些经验风险和结构风险函数我也不知道是什么。我就知道以上

@会长: 哈哈，觉得你的回答很可爱。。
经验风险和结构风险函数，是李航老师的《统计学习方法》里提到的，经验风险就是训练集中的预测数据与实际数据之间偏差的损失函数之和的平均值，而结构风险是在经验风险基础上，增加了正则化项。。
关于最小二乘法，我刚网搜了下，加上的我个人理解是这样的：对于线性回归模型，其损失函数如果选择的是平方损失函数，那经验风险就是平方损失函数之和，取均值得到的方程。。求该方程的最小值，就是最小二乘法。。你所谓的代价函数应该就是损失函数，即预测值与实际值的偏差。
如果损失函数选择的是绝对损失函数或者对数损失函数，貌似就不能叫最小二乘法了。只是说线性回归模型里，最常用的损失函数就是这个平方损失函数。

@老笨啊: 是的，代价函数就是 cost function，有时候叫法不一样。那我明白你的意思了：经验风险就是模型得到的值和样本真实值之间的差距，使cost function最小化就是使经验风险最小化；结构风险就是模型带来的过拟合风险，由于样本不能完全代表所有数据，所有会有过拟合的风险，加正则化项可以降低过拟合风险，也就是你说的结构风险

@会长: 没错。
这里有几个概念会混淆，损失函数、风险函数、经验风险。。
按照统计学习方法中的描述：
损失函数是f(X)和Y的非负实值函数，记作L（Y，f(X)）;
风险函数是理论上模型f(X)关于联合分布P（X,Y）的平均意义下的损失Rexp(f)--这个是包含训练集和测试集的风险，经验风险和结构风险只是针对训练集的。
经验风险是模型f(X)关于训练数据集的平均损失；Remp(f) = 1/N ∑L（y,f(x)）

@老笨啊: 大佬好

@会长: 晕死啊。。
我是刚入门的小菜鸟啊。。

@老笨啊: 不要这么谦虚，大佬，别忘结贴分给我园豆。菜鸟才不研究这么高深的问题。

@会长: 真心是菜鸟。。半年不到的数据挖掘经验。。我一向脸皮很厚的。。你把我捧太高了，真心受不起。。

@老笨啊: 半年的经验，很厉害了。感觉现在入这行门槛很高

@会长: 啥也不会。。
真心心虚。。

@老笨啊: 我感觉你思考的很认真，将来必成大器

@会长: 别夸了。。被你搞膨胀了。。
我看那些数学公式已经快疯了，几乎看不懂。。。成大器就不想了，先踏踏实实学习再说。。

@老笨啊: 复习一下微积分、线性代数和概率就好了。重点是线性代数，推荐《线性代数及其应用》，最好看下《矩阵分析》或者《矩阵论》之类的书。你搜一下哈工大严质彬的课程，那个不错，我在看，讲矩阵分析的。如果还有时间，可以看看《最优化导论》和《凸优化》等。

@会长: 好的，多谢了~~