数学备忘录

Introduction

本文章主要用来备忘，内容有:

• 基本数学符号、算子
• 基本数学规则

Nabla算子

Del 算子或称 Nabla 算子，在中文中也叫向量微分算子、劈形算子、倒三角算子，符号为 $\nabla$ ，是一个向量微分算子，但本身并非一个向量。

其形式化定义如下：

$$\nabla ={d \over dr}$$

在n维空间中，分母 dr 为含 n 个分量的向量，因而 $\nabla$ 本身就是个n维向量算子。

三维情况下：

$$\nabla = (\frac{\partial }{\partial x} \mathbf{i} + \frac{\partial }{\partial y} \mathbf{j} + \frac{\partial }{\partial z} \mathbf{k})$$

或：

$$\nabla =(\frac {\partial }{\partial x}, \frac {\partial }{\partial y}, \frac{\partial} {\partial z})$$

二维情况下，

$$\nabla = (\frac{\partial }{\partial x} \mathbf{i} + \frac{\partial }{\partial y} \mathbf{j})$$

或

$$\nabla =(\frac {\partial }{\partial x} , \frac {\partial }{\partial y} )$$

$\nabla$ 作用于不同类型的量，得到的就是不同类型的新量：

$\nabla$ 直接作用于函数$F({r})$的梯度，表示为： $\nabla F({r})$（标量函数的梯度为向量，向量的梯度为二阶张量……）；

$\nabla$ 与非标量函数$F({r})$由点积符号$·$连接，意味着求$F({r})$的散度，表示为： $\nabla · F({r})$；

$\nabla$ 与非标量（三维）函数$F({r})$由叉积符号$×$连接，意味着求$F({r})$的旋度，表示为： $\nabla × F({r})$。

范数

向量范数

• 1-范数：即向量元素绝对值之和 $$||x||_1 = \sum_{i=1}^N|x_i|$$
• 2-范数：Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方 $$||\textbf{x}||_2 =\sqrt{\sum_{i=1}^Nx_i^2}$$
• $\infty$-范数：即所有向量元素绝对值中的最大值 $$||\textbf{x}||_\infty = \max_{i}|x_i|$$
• $- \infty$-范数：即所有向量元素绝对值中的最小值
• p-范数：即向量元素绝对值的p次方和的$1/p$次幂 $$||\textbf{x}||_p = (\sum_{i=1}^N|x_i|^p)^{\frac{1}{p}}$$

矩阵范数

• 1-范数：列和范数，即所有矩阵列向量绝对值之和的最大值

  $$||A||_1 = \max_j\sum_{i=1}^m|a_{i,j}|$$

• 2-范数：

  $$||A||_2 = \sqrt{\lambda_1}，\lambda 为 A^TA的最大特征值$$

• 谱范数，即A’A矩阵的最大特征值的开平方。

• $\infty$-范数：$||A||_\infty = \max_i\sum_{j=1}^N|a_{i,j}|$，行和范数，即所有矩阵行向量绝对值之和的最大值
• F-范数：$||A||_F=\left(\sum_{i=1}^m\sum_{j=1}^n|a_{i,j}|^2\right)^{\frac{1}{2}}$, Frobenius范数，即矩阵元素绝对值的平方和再开平方
• 核范数：$||A||_* = \sum_{i=1}^{n}\lambda_i, \lambda_i$ 是A的奇异值。即奇异值之和。

更多理解见文章：几种范数的简单介绍

L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。