首先，只有方阵才有行列式。我们简单回顾一下2*2和3*3矩阵的行列式：
那么行列式是什么意思呢？在二维平面中，矩阵行列式的绝对值代表平行四边形的面积，而在三维空间中，矩阵行列式的绝对值代表平行六面体的体积：
8.2 行列式的性质
(1)单位矩阵的行列式为1
(2)交换任意两行并改变行列式的符号
(3) 对于任意行，行列式都是“线性”的
从ppt翻译起来比较困难，但是看图就很直观了：
因此，下面的公式是正确的：
同时：
(4) 若行列式两行相等或存在倍数关系，则行列式值为0
这个属性也很直观。交换两行会改变符号，但如果交换的两行相同，则行列式的值应保持不变。 -a=a，则a只能为0。
(5) 对角矩阵的行列式等于对角线上元素的乘积
(6)如果方阵的行列式不为0，那么它是可逆的。相反，如果方阵是可逆的，那么它的行列式不为0。
如果一个矩阵是可逆的，那么通过初等变换就可以得到单位矩阵。每次初等变换得到的矩阵的行列式值相当于原矩阵的行列式值乘以一个标量。由于每次相乘的标量不为0，所以我们可以得到原矩阵的行列式值不为0。
(7)det(AB)=det(A)*det(B)
(8) 矩阵转置的行列式与原矩阵相同
因此，刚才提到的结论也适用于列。即如果有两列相同或者存在多重关系，则行列式值都为0，每列也是线性的。
8.3 行列式的计算
我们先介绍一下辅因子和代数辅因子。矩阵的任何元素aij 都有相应的辅因子。是划掉第i行j列后得到的矩阵的行列式。使用det(Aij )express：
cij=(-1)i+jdet(Aij) 称为代数余因子。
根据代数余因子，我们可以得到行列式的计算公式如下：
我们举一个3 维的例子：
因此，对于方阵的行列式，它是n！项（n！是n 个元素的完全排列数）。对于每一项，就是从每一行中选择一个元素进行乘法，并且这些元素属于不同的列。
有了代数余因子，我们就可以得到矩阵A的伴随矩阵，伴随矩阵中的每个元素都是原矩阵中该位置元素的代数余因子：
我们可以通过取伴随矩阵和行列式值来进一步计算矩阵的逆：
9. 子空间
9.1 子空间
如果向量集V 满足三个条件： (1) 包含零向量(2) 如果u 和v 属于V，则u+v 也属于V (3) 如果u 属于V 并且c 是标量，则cu也属于V。我们称这个向量集V为子空间（subspace）:
例如，以下向量集是一个子空间：
零向量集合也是一个子空间并且满足所有三个属性。
9.2 零空间
对于矩阵A，所有满足Ax=0 的x 的集合称为矩阵A 的零空间：
9.3 列空间和行空间
列空间（Column Space）是矩阵A的列所占据的空间，行空间（Row Space）是矩阵A的行所占据的空间。
将矩阵简化为行阶梯形后，矩阵的列空间发生变化，而行空间保持不变。
那么，我们可以再加一个条件来判断线性方程组是否有解，即b是否在A的列空间中。
10. 依据
10.1 什么是基础
假设V是Rn的子空间，可以扩展到空间V的一组线性无关向量称为基。
对于矩阵来说，它的主列是其列空间的基础：
10.2 碱基的性质
该基地具有以下特点：
(1) 基是可以扩展到空间V的最小个数的向量集合
如果一组向量S可以生成一个子空间V，那么基中包含的向量数量小于或等于S中的向量数量。
(2) 基是空间中最大的线性无关向量集合
如果子空间V 的基中的向量数量为k，则无法找到超过k 个线性无关向量集。
(3) 子空间中任意两组基都包含相同数量的向量
如何证明这一点？
1) 假设子空间V中有两组基A和B，其个数分别为k和p；
2）因为A是子空间中的基，所以B中的所有向量都可以表示为A中向量的线性组合，即AC=B，C的列数为p，行数为k；
3）假设有一个p维向量x使得Cx=0，所以ACx=Bx=0。因为B是基，所以Bx=0的解只能是零向量，所以C也是线性无关的；
4）因为C中的列向量是k维的，并且p个k维向量是线性无关的，所以必然有p=k；
5）同理k=p，所以最终k=p，即A和B的向量个数相同。
(4) 子空间V的基向量的个数称为V的维数
10.3 判断一个集合是否为基
通过定义，我们可以判断一个集合是否是基。必须满足两个条件。向量是线性无关的，可以展开成一个空间V。前者容易判断，后者则很难判断：
另一种思路，假设对于一个子空间V，我们已经知道它的维度为2。如果S是包含k个向量且属于V的子集，那么如果
1）S中的向量是线性无关的，则S是基
2）S可以展开为空间V，则S为基
10.4 三个空间的底面和尺寸
前面我们介绍过，对于矩阵的三个空间，行空间、列空间和零空间，它们的底和维数分别是多少？
A 的列空间
A的列空间的基础是主列的集合，维数是主列的个数。
A 的零空间
A 的零空间的维数是Ax=0 中自由变量的个数。看下面的图片：
A 的行空间
A的行空间的维数是简化为简化的行梯形后的非零行数。基础是行的集合，其中主要元素位于简化的行梯形形式中。
这里我们可以得出矩阵A的秩和它的转置相等的结论：
总而言之，它看起来像这样：
11.坐标系
11.1 使用底数表示向量
在n维空间中，我们可以用基向量来表示坐标系，这样空间中任意向量的坐标都是确定的。但对于同一个向量，如果使用不同的坐标系，其坐标是不同的：
同理，在不同的坐标系下，同一坐标表示的向量也不同：
当底确定后，向量的坐标也就唯一了。由于基是线性无关的，证明如下：
在某个坐标系B下，一个向量可以用其对应的坐标表示来表示：
最常用的坐标系是笛卡尔坐标系，通常表示如下：
那么根据任意坐标系以及某个向量在该坐标系中的坐标，如何得到向量呢？很简单，这个向量可以表示为基数的线性组合，系数就是它的坐标：
那么，如何获取某个向量在任意坐标系下的坐标呢？只需将两边乘以B-1：
11.2 直角坐标系与其他坐标系的转换
其实我们的向量就是笛卡尔坐标系中的坐标表示，所以其实上一节我们已经讲过笛卡尔坐标系与其他坐标系之间的转换了：
11.3 坐标系和线性方程
我们之前提到的线性方程都是相对于笛卡尔坐标系的。有时直接在笛卡尔坐标系中解决一些问题并不容易，但转换到其他坐标系就会变得非常简单。这就给了我们通过坐标系变换来解决问题的思路：
让我们举个例子。假如下图中的T表示任意向量关于直线L的对称向量：
直接解决这个问题是非常困难的。我们想要找到一个矩阵A，使得T(x)=Ax。如果这条直线不是横轴或者纵轴，那么找到这个矩阵A就非常困难。但是如果这条直线是横轴或者纵轴，这个问题就变得很简单了。假设直线为横轴，那么我们可以很容易地写出我们要找的矩阵：
那么我们可以通过坐标系变换将直线L变换为水平轴，那么问题就简单了：
这样我们就找到了直角坐标系下的变换矩阵A。此时，我们可以将两个坐标系下的变换矩阵称为相似矩阵：
假设直线L为y=0.5x，则求解过程如下：
12.特征值和特征向量
12.1 什么是特征值和特征向量
好吧，在写这节之前，我们先想一下上一节所说的内容。假设笛卡尔坐标系中的向量v 在另一个坐标系中的坐标由Bv 表示。这个B就是坐标。由系统的基础制成的矩阵，因此矩阵可以表示线性变换（Linear Transformation），即将直角坐标系中向量的坐标表示转换为另一个坐标系中的坐标表示！
我们知道任何非零向量都可以拉伸成一条直线。有些向量受到作用后会偏离矩阵A形成的空间。然而，有些向量仍然处于矩阵A作用后形成的原始空间中，矩阵A只对向量起到一定的拉伸作用，那么我们说这个向量就是矩阵A的特征向量（Eigenvector） ，这种拉伸效应的大小称为特征值（Eigenvalue）。所以我们知道这个向量所跨越的空间中的所有向量（除了零向量）都是这个矩阵的特征向量。下例中，变换后横轴没有变化，因此横轴上的向量都是特征值为1的特征向量。
好了，我们可以给出特征值和特征向量的定义：
12.2 如何计算特征向量
假设我们已经知道特征值，我们可以根据Av=v求解其对应的特征向量：
某个特征值的特征空间（Eigenspace）定义为(A-In)v=0的解集：
特征空间也可以说是对应的特征向量加上零向量（特征向量不能是零向量）
12.3 检查标量是否是特征值
要检查一个标量是否是特征值，只需确定其对应的特征空间是否只有零向量：
12.4 计算特征值
如果标量是矩阵A 的特征值，则它满足以下所有条件：
那么如何计算矩阵的特征值呢？这里我们需要用到特征多项式（Characteristic Polynomial）。特征值是特征多项式的根。现在：
例如：
这里我们可以得到一个性质，即两个相似矩阵的特征值相同。证明如下：
那么n阶方阵有多少个特征值呢？至多n。如果一个n阶方阵有n个特征值（包括重复值），那么这n个特征值之和等于矩阵的迹（trace，即主对角线元素之和）的矩阵）。同时，这n个特征值的乘积就等于矩阵的行列式。
通过对特征多项式进行因式分解，我们可以得到以下重要结论：特征值对应的特征空间的维数小于等于该特征值重复出现的次数。
例如：
12.5 正定矩阵和正半定矩阵
如果一个矩阵的所有特征值都大于0，那么该矩阵称为正定矩阵。如果所有特征值都大于或等于0，则称为半正定矩阵。
那么正定或正半定矩阵的含义是什么？这里我们以正定矩阵为例。我们知道矩阵的A代表线性变化，所以如果一个矩阵是正定的，就有xTAx0。假设x经过A变换后变成y，则xTy0，即x和y的内积大于0，或者说角度小于90度。因此，正定矩阵的直觉意味着变换后的向量与其自身的夹角小于90度。
13. 对角化
13.1 可对角化
如果一个n阶方阵A可以变换为A=PDP-1，其中D是n阶对角矩阵，P是n阶可逆方阵，则A是可对角化的。但并非所有矩阵都可以对角化：
如果A可对角化，那么P中的列向量就是A的特征向量，D中的对角元素就是A的特征值。证明如下：
同时，我们可以得出以下结论：
13.2 可对角化的性质
在本节中我们介绍几个重要的属性，
1）不同特征值对应的特征向量之间不存在线性相关性。
2）如果矩阵A可对角化，则其特征值对应的特征空间的维数等于该特征值重复出现的次数。
3) 如果矩阵A 可对角化，则Am=PDmP-1。
我们先看第一个属性：
我们可以通过假设它们之间的线性相关来反驳这一点：
我们来看第二个属性：
14. 正交
14.1 范数和距离
我们经常使用范数（Norm）来表示矩阵的长度，其中最常用的是二范数：
两个向量之间的距离，我们一般使用欧氏距离：
14.2 点积和求积
点积（Dot Product）计算如下：
两个向量是正交的。如果两个向量的点积为0，则零向量与任意向量正交。
点积具有以下性质：
同时，如果两个向量正交，那么它们具有以下性质：
在三角形中，我们有著名的三角形不等式，两条边的长度之和大于第三条边的长度，所以我们有：
14.3 正交补集
对于非空向量集S，该集合的正交补定义为：
关于正交补，我们有以下性质：
因此，对于n维空间中的向量，我们可以将它们分解：
14.4 正投影
正交投影（Orthogonal Projection）通过下图很容易理解。如果将向量u 正交投影到子空间W 中，则投影结果为w。
正交投影的一个非常重要的性质是u在子空间W上的正交投影向量与u最接近。看下图，我们可以看到直角三角形的斜边长度总是大于直角边的长度：
14.5 如何进行正投影
如何获得向量在另一个子空间上的正交投影？为了从一个向量得到另一个向量，我们不妨在中间乘一个变换矩阵Pw，即w=Pwu。所以关键是如何求这个矩阵
密码。
好吧，这里直接给出结论，然后证明：
证明如下。证明的第一步是，因为u-w垂直于子空间W中的所有向量，自然也垂直于C中的所有列向量，所以CT(u-w)=0：
14.6 正交投影求解线性回归的应用
如果我们有一个不可解的线性方程组Ax=b，我们可以退而求其次，在A 的列所跨越的空间中找到最接近b 的向量。这实际上是b 在A 上的正交投影。
这个想法可以用于我们机器学习中的线性回归。在进行线性回归时，我们常常希望最小化残差的平方和，即：
C 这是我们的训练数据。训练数据的矩阵表示相当于线性方程的A。待求参数a相当于线性方程组的x。实际值y相当于线性方程组的b。根据我们上一节求解正交投影的方式，Ca的值应该等于y在C的跨度空间中的正交投影。因此，我们可以直接计算出参数的值：
14.7 正交基
如果一组向量中的任意两个向量是正交的，那么我们可以称这组向量为正交集。正交集中不包含零向量的向量是线性无关的，证明如下：
如果正交集合中的所有向量的长度均为1，则该集合称为正交集合。当然，正交集合中的向量也是线性无关的。
因为正交集/标准正交集内的向量是线性无关的，那么如果一个子空间的基是正交/标准正交的，那么这个基就称为正交基（Orthogonal Basis）/标准正交基（Orthonormal Basis）。
如果基是正交的，那么我们可以快速求解子空间中向量的坐标：
如果u是任意向量，那么u在子空间中的正交投影也很容易计算：
我们可以重写之前得到的投影变换矩阵：
如何将普通基转换为正交基？方法如下：
14.8 正交矩阵
正如我们之前提到的，矩阵实际上代表了一个线性变换。如果这个变换应用于任意向量u，且不改变向量u的长度，我们就说该线性变换具有范数保持性（目前还不清楚如何翻译，暂时翻译为范数不变性）。注意，这样的u 是任意向量。例如，旋转和对称反转操作不会改变任何向量的范数：
显然，具有范数不变性的矩阵必须具有+1或-1的特征值。
一个n阶方阵Q，如果它的列是可以扩展到n维空间的标准正交基，我们称Q为正交矩阵。
例如，下面的矩阵是一个正交矩阵：
范数不变性和正交矩阵之间有什么关系？答案是：如果一个矩阵具有范数不变性，那么它是正交矩阵，反之，如果一个矩阵是正交矩阵，那么该矩阵具有范数不变性。接下来我们分别证明这两点。
第一点：如果一个矩阵是范数不变的，那么它就是正交矩阵
证明一个矩阵正交无非就是证明两点：每列长度为1，任意两列正交。
证明每列长度为1:
证明任意两列正交：
第二点：如果一个矩阵是正交矩阵，那么该矩阵是范数不变量
首先，我们很容易知道，对于一个正交矩阵Q，QT=Q-1，根据下面的推导，我们可以得到正交矩阵必须具有范数不变性：
刚才我们提到，对于一个正交矩阵Q，QT=Q-1，这个条件其实可以用来判断一个矩阵是否是正交矩阵。根据这个条件，可以得到，如果一个矩阵是正交矩阵，那么它的转置仍然是正交矩阵。此时，我们只需检查(QT)T=(QT)-1是否成立。这显然是正确的，因为转置的逆等于逆的转置。
因此，正交矩阵具有以下三个性质：
1) 行和列是范数为1的正交向量
2）范数不变性
3）它的转置等于它的逆矩阵
14.9 对称矩阵
如果一个矩阵的转置等于它本身，那么这个矩阵就称为对称矩阵。
对于对称矩阵，它的特征值都是实数：
同时，不同特征根对应的特征向量是正交的：
对称矩阵一定是可对角化的（相关证明网上可以找到，这里就不证明了）。之前我们已经介绍过，对于可对角化的矩阵，它的特征向量都是线性无关的。根据这个性质，如果一个n阶对称矩阵有n个不同的特征值，并且其对应的特征向量成对正交，那么它所组成的矩阵就可以是正交矩阵。如果有多个根，其对应的特征向量不一定相互正交，但总可以通过正交化将它们转化为正交的。因此，对于对称矩阵，前面提到的对角化方法可以变为：
15.奇异值分解
15.1 什么是奇异值分解？
我们之前介绍的对角化只能用于方阵。那么对于非方阵，我们是否可以使用类似的对角化方法来分解矩阵呢？这里使用奇异值分解（SVD）技术。
奇异值分解如下。 m*n 矩阵A 可以分解为m 阶正交矩阵、m*n 对角矩阵（类似于对角矩阵）和n 阶正交矩阵：
那么如何求这三个矩阵呢？我们参考刘建平老师的文章（https://www.cnblogs.com/pinard/p/6251584.html）：
奇异值通常用于降维。也就是说，我们不需要所有的奇异值来描述矩阵，而只需要少数比较大的奇异值。本例中效果如下：
好了，这篇文章的线性代数知识就带大家复习到这里了。非常推荐大家听一下李宏毅老师的线性代数课。讲座讲得非常清楚。
参考
1. http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
2.https://www.cnblogs.com/pinard/p/6251584.html
作者：石小文的学习日记
链接：https://www.jianshu.com/p/21aea5108d83
【线性代数核心概念精讲篇 II】相关文章：
用户评论
最近在学习线性代数，感觉这些知识点总结得很好！
有6位网友表示赞同！
终于找到了一个系统的线性代数知识点的整理资料，可以慢慢复习。
有12位网友表示赞同！
想问问这位作者是怎么学好线性代数的？有没有什么好的建议？
有15位网友表示赞同！
这篇文章帮我梳理了很多之前不太理解的线性代数概念。
有10位网友表示赞同！
准备参加考试了，用这篇文章 review 线性代数知识点正好！
有16位网友表示赞同！
学习线性代数真的好费劲，但有了这篇文章感觉有希望了。
有9位网友表示赞同！
希望以后还有更多类似的知识点整理文章分享！
有11位网友表示赞同！
收藏了，以后需要的时候再看一遍。
有7位网友表示赞同！
很多时候线性代数概念比较抽象，这篇总结写的很通俗易懂。
有5位网友表示赞同！
对线代基础不太了解的人可以参考一下这篇文章入门哦！
有16位网友表示赞同！
学习线性代数需要多做练习，这篇文章总结的知识点确实很实用。
有8位网友表示赞同！
看了这篇文章感觉线性代数不再那么吓人了！
有19位网友表示赞同！
文章写得很棒，非常适合初学者理解线性代数。
有7位网友表示赞同！
推荐给正在学习线性代数的同学们！
有20位网友表示赞同！
终于明白了一些之前在书本上迷惑的线性代数概念了。
有8位网友表示赞同！
这篇文章讲解清晰，让人很容易上手学习线性代数知识点。
有7位网友表示赞同！
准备开学了，现在先用这篇文章刷一下线代基础！
有10位网友表示赞同！
感觉线性代数是很多学科的基础，掌握好这些知识点很有帮助。
有15位网友表示赞同！
以后再遇到相关的问题，可以参考这篇文章查阅资料。
有13位网友表示赞同！
感谢作者分享这样宝贵的学习资源！
有10位网友表示赞同！