矩阵微积分

发表于 | 更新于 | 分类于
矩阵的微积分计算的概念及其性质

本文摘译自 Wikipedia。

数学中，矩阵微积分是一种特殊的多元微积分表达形式，它把单个函数对多个变量或多元函数对单一变量表达为向量或矩阵的形式，使其可以视为一个整体作处理，这极大地简化了诸如多元函数极值和微分方程组等问题的求解过程。

表示法

在本文中，将采用如下所示的表示方法：

  • A,X,YA,X,Y 等：粗体的大写字母，表示一个矩阵；
  • a,x,y 等：粗体的小写字母，表示一个向量；
  • a,x,y 等：斜体的小写字母，表示一个标量；
  • XT：表示矩阵 X 的转置；
  • XH：表示矩阵 X 的共轭转置；
  • |X|：表示方阵 X 的行列式；
  • ||x||：表示向量 x 的范数；
  • I：表示单位矩阵。

向量微分

向量-标量

列向量函数 y=[y1y2⋯ym]T 对标量 x 的导数称为 y 的切向量，可以以 分子记法 表示为

∂y∂x=[∂y1∂x∂y2∂x⋮∂ym∂x]m×1

若以 分母记法 则可以表示为

∂y∂x=[∂y1∂x∂y2∂x⋯∂ym∂x]1×m

标量-向量

标量函数 y 对列向量 x=[x1x2⋯xn]T 的导数可以以 分子记法 表示为

∂y∂x=[∂y∂x1∂y∂x2⋯∂y∂xn]1×n

若以 分母记法 则可以表示为

∂y∂x=[∂y∂x1∂y∂x2⋮∂y∂xn]n×1

向量-向量

列向量函数 y=[y1y2⋯ym]T 对列向量 x=[x1x2⋯xn]T 的导数可以以 分子记法 表示为

∂y∂x=[∂y1∂x1∂y1∂x2⋯∂y1∂xn∂y2∂x1∂y2∂x2⋯∂y2∂xn⋮⋮⋱⋮∂ym∂x1∂ym∂x2⋯∂ym∂xn]m×n

若以 分母记法 则可以表示为

∂y∂x=[∂y1∂x1∂y2∂x1⋯∂ym∂x1∂y1∂x1∂y2∂x1⋯∂ym∂x1⋮⋮⋱⋮∂y1∂x1∂y2∂x1⋯∂ym∂x1]n×m

矩阵微分

矩阵-标量

形状为 m×n 的矩阵函数 Y 对标量 x 的导数称为 Y 的切矩阵，可以以 分子记法 表示为

∂Y∂x=[∂y11∂x∂y12∂x⋯∂y1n∂x∂y21∂x∂y22∂x⋯∂y2n∂x⋮⋮⋱⋮∂ym1∂x∂ym2∂x⋯∂ymn∂x]m×n

标量-矩阵

标量函数 y 对形状为 p×q 的矩阵 X 的导数可以 分子记法 表示为

∂y∂X=[∂y∂x11∂y∂x21⋯∂y∂xp1∂y∂x12∂y∂x22⋯∂y∂xp2⋮⋮⋱⋮∂y∂x1q∂y∂x2q⋯∂y∂xpq]q×p

若以 分母记法 则可以表示为

∂y∂X=[∂y∂x11∂y∂x12⋯∂y∂x1q∂y∂x21∂y∂x22⋯∂y∂x2q⋮⋮⋱⋮∂y∂xp1∂y∂xp2⋯∂y∂xpq]p×q

恒等式

以下各式中，无特别备注，默认被求导的复合函数的各因式皆不是求导变量的函数。

向量-向量

表达式 分子记法 分母记法 备注
∂a∂x= 0 0
∂x∂x= I I
∂Ax∂x= A AT
∂xTA∂x= AT A
∂au∂x= a∂u∂x a∂u∂x u=u(x)
∂vu∂x= v∂u∂x+u∂v∂x v∂u∂x+∂v∂xuT v=v(x),u=u(x)
∂Au∂x= A∂u∂x ∂u∂xAT u=u(x)
∂(u+v)∂x= ∂u∂x+∂v∂x ∂u∂x+∂v∂x u=u(x),v=v(x)
∂f(g(u))∂x= ∂f(g)∂g∂g(u)∂u∂u∂x ∂u∂x∂g(u)∂u∂f(g)∂g u=u(x)

标量-向量

表达式 分子记法 分母记法 备注
∂a∂x= 0T 0
∂au∂x= a∂u∂x a∂u∂x u=u(x)
∂(u+v)∂x= ∂u∂x+∂v∂x ∂u∂x+∂v∂x u=u(x),v=v(x)
∂uv∂x= u∂v∂x+v∂u∂x u∂v∂x+v∂u∂x u=u(x),v=v(x)
∂f(g(u))∂x= ∂f(g)∂g∂g(u)∂u∂u∂x ∂f(g)∂g∂g(u)∂u∂u∂x u=u(x)
∂(u⋅v)∂x=∂uTv∂x= uT∂v∂x+vT∂u∂x ∂v∂xu+∂u∂xv u=u(x),v=v(x)
∂(u⋅Av)∂x=∂uTAv∂x= uTA∂v∂x+vTAT∂u∂x ∂v∂xATu+∂u∂xAv u=u(x),v=v(x)
∂(a⋅u)∂x=∂aTu∂x= aT∂u∂x ∂u∂xa u=u(x)
∂bTAx∂x= bTA ATb
∂xTAx∂x= xT(A+AT) (A+AT)x
∂2xTAx∂x∂xT= A+AT A+AT
∂aTxxTb∂x= xT(abT+baT) (abT+baT)x
∂(Ax+b)TC(Dx+e)∂x= (Ax+b)TCD+(Dx+e)TCTA DTCT(Ax+b)+ATC(Dx+e)T
∂||x||2∂x=∂(x⋅x)∂x= 2xT 2x
∂||x−a||∂x= (x−a)T||x−a|| (x−a)||x−a||

向量-标量

表达式 分子记法 分母记法 备注
∂a∂x= 0 0
∂au∂x= a∂u∂x a∂u∂x u=u(x)
∂Au∂x= A∂u∂x ∂u∂xAT u=u(x)
∂uT∂x= (∂u∂x)T (∂u∂x)T u=u(x)
∂(u+v)∂x= ∂u∂x+∂v∂x ∂u∂x+∂v∂x u=u(x),v=v(x)
∂(uT×v)∂x= (∂u∂x)T×v+uT×∂v∂x ∂u∂x×v+uT×(∂v∂x)T u=u(x),v=v(x)
∂f(g(u))∂x= ∂f(g)∂g∂g(u)∂u∂u∂x ∂u∂x∂g(u)∂u∂f(g)∂g u=u(x)
∂(U×v)∂x= ∂U∂x×v+U×∂v∂x vT×∂U∂x+∂v∂x×UT U=U(x),v=v(x)

标量-矩阵

表达式 分子记法 分母记法 备注
∂a∂X= 0T 0
∂au∂X= a∂u∂X a∂u∂X u=u(X)
∂(u+v)∂X= ∂u∂X+∂v∂X ∂u∂X+∂v∂X u=u(X),v=v(X)
∂uv∂X= u∂v∂X+v∂u∂X u∂v∂X+v∂u∂X u=u(X),v=v(X)
∂f(g(u))∂X= ∂f(g)∂g∂g(u)∂u∂u∂X ∂f(g)∂g∂g(u)∂u∂u∂X u=u(X)
∂aTXb∂X= baT abT
∂aTXTb∂X= abT baT
∂(Xa+b)TC(Xa+b)∂X= [(C+CT)(Xa+b)aT]T (C+CT)(Xa+b)aT
∂(Xa)TC(Xb)∂X= (CXbaT+CTXabT)T CXbaT+CTXabT
∂|X|∂X= |X|X−1 |X|(X−1)T
∂ln|aX|∂X= X−1 (X−1)T
∂|AXB|∂X= |AXB|X−1 |AXB|(X−1)T
∂|Xn|∂X= n|Xn|X−1 n|Xn|(X−1)T
∂ln|XTX|∂X= 2X+ 2(X+)T X+ 为 X 的广义逆
∂ln|XTX|∂X+= −2X −2XT X+ 为 X 的广义逆
∂|XTAX|∂X= 2|XTAX|X−1=2|XT||A||X|X−1 2|XTAX|(X−1)T X 为方阵且可逆
∂|XTAX|∂X= 2|XTAX|(XTATX)−1XTAT 2|XTAX|AX(XTAX)−1 A 对称
∂|XTAX|∂X= |XTAX|[(XTAX)−1XTA+(XTATX)−1XTAT] |XTAX|[AX(XTAX)−1+ATX(XTATX)−1]

矩阵-标量

表达式 分子记法 备注
∂aU∂x= a∂U∂x U=U(x)
∂AUB∂x= A∂U∂xB U=U(x)
∂(U+V)∂x= ∂U∂x+∂V∂x U=U(x),V=V(x)
∂(UV)∂x= U∂V∂x+∂U∂xV U=U(x),V=V(x)
∂(U⊗V)∂x= U⊗∂V∂x+∂U∂x⊗V U=U(x),V=V(x)，⊗ 表示 Kronecker 乘积
∂(U∘V)∂x= U∘∂V∂x+∂U∂x∘V U=U(x),V=V(x)， ∘ 表示 Hadamard 乘积
∂U−1∂x= −U−1∂U∂xU−1 U=U(x)
∂2U−1∂x∂y= U−1(∂U∂xU−1∂U∂y−∂2U∂x∂y+∂U∂yU−1∂U∂x)U−1 U=U(x,y)
∂g(xA)∂x= Ag′(xA)=g′(xA)A 应为 Hadamard 乘积；g(⋅) 为逐元函数，如下例
∂exA∂x= AexA=exAA
---------- 文结至此 静待下章 ----------