最优化方法学习及实践

参考书籍 :

本方法参考书籍 《数值最优化方法》（北京大学出版社 高立 著） 根据书籍中涉及的算法进行实验性质的实现，以加深对算法的理解。

线搜

lineSearch :

1. 主要实现了618精确线搜
2. wolf 准则 非精线搜 详见 BFGS 的 wolfsearch

基本牛顿法

Newton ：基本牛顿法

拟牛顿方法

BFGS : 拟牛顿方法

BB 方法

BBmethod : 该方法与最速梯度下降法等有着诸多类似。可以参照本源码参考书籍进行理解。 BB方法是以拟牛顿方法作为其基础理论演变而来，但是其最终迭代公式却具有和梯度下降方法相似的形式。