从零构建现代深度学习框架(TinyDL-0.01)

近年来市场与技术环境出现了双拐点：一方面消费互联网的发展已经完全进入存量博弈时代增量红利不再，降本增效成为主旋律；另一方面AI技术的最新发展取得重大突破，在很多方面的效率和成本已经明显超越人类。 新时代新形势下也迫使像我这样的Javaer不得不去转型拥抱新技术。

对于技术上有两条新方向：一条以3D为代表的元宇宙相关技术，例如区块链，XR等技术的转型；另外一条是以大模型为代表的AI方向的转型。最近开始学习深度学习相关的东西，于是作为Java码农为了能看懂CNN，DNN，RNN等网络模型，现在还在恶补线性代数和微积分以及PyTorch。虽都说“人生苦短，我用python”，可是想通过看源代码，来学习深度学习框架的实现来了解原理的Javaer，Python天马行空的风格，确实让我觉得人生苦短（这里没有任何语言论战之意）。

1. 向量：向量是一个有大小和方向的量，在线性代数中，向量通常用一列数表示。
2. 矩阵：矩阵是一个二维数组，由行和列组成，它可以用于表示线性方程组或者线性变换。
3. 向量空间：向量空间是由一组向量构成的集合，满足一些特定的性质，如封闭性、加法和数量乘法的结合性等。
4. 线性变换：线性变换是一种将一个向量空间映射到另一个向量空间的操作。它保留线性组合和共线关系。
5. 线性方程组：线性方程组是一组线性方程的集合，其中每个方程都满足变量的次数为1，并且具有线性关系。
6. 特征值和特征向量：在矩阵中，特征值是一个标量，特征向量是一个非零向量，满足矩阵与该向量的乘积等于特征值乘以该向量。
7. 内积和外积：内积是向量之间的一种运算，用于度量它们之间的夹角和长度，外积是向量之间的一种运算，用于生成一个新的向量，该向量垂直于原始向量。
8. 行列式：行列式是一个标量值，由一个方阵的元素按照特定的规则组合而成，它用于计算矩阵的逆、判断矩阵的奇偶性等。

/** * 支持，1，标量;2.向量;3，矩阵， * <p> * 暂不支持，更高纬度的张量，更高维的通过Tensor来继承简单实现 */public class NdArray {protected Shape shape;/**     * 真实存储数据，使用float32     */private float[][] matrix;}/** * 表示矩阵或向量的形状 */public class Shape {/**     * 表示多少行     */public int row = 1;/**     * 表示多少列     */public int column = 1;public int[] dimension;}

1.1. 数值微分

1.2. 解析微分

链式法则

 /**     * 函数的前向传播     *     * @param inputs     * @return     */    public abstract NdArray forward(NdArray... inputs);
    /**     * 函数的后向传播，求导     *     * @param yGrad     * @return     */    public abstract List<NdArray> backward(NdArray yGrad);

public class Sigmoid extends Function {    @Override    public NdArray forward(NdArray... inputs) {        return inputs[0].sigmoid();    }
    @Override    public List<NdArray> backward(NdArray yGrad) {        NdArray y = getOutput().getValue();        return Collections.singletonList(yGrad.mul(y).mul(NdArray.ones(y.getShape()).sub(y)));    }
    @Override    public int requireInputNum() {        return 1;    }}

** * 数学中的变量的抽象 */public class Variable {    private String name;
    private NdArray value;
    /**     * 梯度     */    private NdArray grad;
    /**     * 保持是函数对象生成了当前Variable     */    private Function creator;
    private boolean requireGrad = true;
    /**     * 变量的反向传播     */    public void backward() {}}

1. 正向传播：将输入样本通过神经网络的前向计算过程，得到网络的输出值。

2. 计算损失函数：将网络的输出值与真实值之间的差异，作为损失函数的输入，计算网络预测值与真实值之间的误差。

3. 反向传播：根据损失函数的值，逐层计算每个参数对损失函数的梯度。通过链式法则，将上一层的梯度乘以当前层的激活函数对输入的导数，得到当前层的梯度，并传递到前一层，逐层计算直到输入层。

4. 更新网络参数：使用梯度下降算法，按照梯度的反方向更新每个参数的值，使得损失函数逐渐减小。

5. 重复上述步骤，直至达到训练停止的条件，或者达到最大迭代次数。

public interface LayerAble {
    String getName();
    Shape getXInputShape();
    Shape getYOutputShape();
    void init();
    Variable forward(Variable... inputs);
    Map<String, Parameter> getParams();
    void addParam(String paramName, Parameter value);
    Parameter getParamBy(String paramName);
    void clearGrads();
}
/** * 表示由层组合起来的更大的神经网络的块 */public abstract class Block implements LayerAble 
/** * 表示神经网络中具体的层 */public abstract class Layer extends Function implements LayerAble

下图是nnet层的整体类图，核心是围绕着Layer以及Block的实现，其中Block是Layer的容器类时 目录与文件的关系，其他都是围绕着它们的实现，每一种Layer或Block的实现，都是一篇知名的学术论文， 其背后都有很深的数学推导（解释为什么网络中加入了该类型的层是有效的）：

参考链接：

[1]https://github.com/Leavesfly/linux-0.01/blob/master/README

[2]https://github.com/Leavesfly/TinyDL-0.01

[3]https://github.com/deeplearning4j/deeplearning4j

[4]https://github.com/deepjavalibrary/djl

[5]https://github.com/Leavesfly/TinyDL-0.01

[6]https://github.com/Leavesfly/TinyDL-0.01/blob/main/src/main/java/io/leavesfly/tinydl/ndarr/NdArray.java

[7]https://github.com/jash-git/Jash-good-idea-20200304-001/blob/master/CN%20AI%20book/深度学习的数学.pdf