这是我首次接触最优算法，如何在最短时间内从A点到达B点？ 这个应该是最短路径问题了，如何投入最少的工作却获得最大的收益？如何设计发动机使油耗少而功率大呢？ 现在我们讲学习一些最优算法，并且利用他们来训练出一个非线性函数用于分类。至于“回归” 是什么东西呢？假设我们现在有一些数据点，我们用一条直线对这些点进行拟合（改线成为最佳拟合直线）这个拟合过程就成为回归，利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集，其背后的数学分析将在下一部分介绍。训练分类器时的做法就是寻找最佳拟合参数。 训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理

Logistic回归的一般过程1），收集数据：采用任意方法收集数据。2），准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式最方便计算。3），分析数据：采用任意方法对数据进行分析。4），训练算法：大部分时间将用于训练，训练的目的时为了找到最佳的分类回归系数。5），测试算法：一旦训练步骤完成，分类将会很快哦。6），首先我们需要准备一些输入数据，并将其转化为对应的结构化数值，接着，给予训练好的回归系数就可以对这些数值进行简单的回归计算，判定他们属于那个类别，在这之后，我们就可以在输出的类别上做一些其他的分析工作。

　　优点：    计算代价不高，易于理解和实现。

　　缺点：    易于欠拟合，分类的精度不高。

　　适用数据类型：    数值型和标称型数据

海维塞德阶跃函数：　　能够接受所有的输入，然后预测出类别，例如在两个类的情况下上述函数输出0或1 。

单位阶跃函数，又称赫维赛德阶跃函数，

连续时间形式定义如下：

它和符号函数的关系：

 

它是个不连续函数，其“微分”是狄拉克 δ 函数。事实上，x=0 的值在函数应用上并不重要，可以任意取。

 

离散时间形式定义如下：

n 是整数

 

离散时间的冲激函数是离散时间的阶跃函数的差分

 

参见：

          

该函数的特点也是该函数的缺点，因为该函数是越阶函数在跳跃点上直接从0跳跃到1 这个跳跃过程有时很难处理，幸好，另一个函数也有类似的性质，且数学上更容易处理这就是Sigmoid函数。Sigmoid函数具体的计算公式如下：