PCA 的推导过程？和自编码器降维有什么区别？

一句话速记：PCA 通过最大化方差或最小化重构误差求解正交主成分，可转化为协方差矩阵的特征值分解或 SVD，具有全局解析解且主成分正交；自编码器利用神经网络拟合非线性流形，目标函数非凸且无正交约束；去除激活函数并采用 MSE 损失的线性自编码器，其学习到的潜变量空间与 PCA 等价。

降维

同章节的其他八股

• ReLU、GELU、SwiGLU 有什么区别？大模型为什么偏爱门控激活？
• BatchNorm 和 LayerNorm 的区别？为什么 NLP 用 LayerNorm？
• Adam 和 AdamW 的区别？
• Warmup 的作用是什么？
• 梯度消失和梯度爆炸怎么解决？
• L1 和 L2 正则化有什么区别？
• 交叉熵损失怎么推导？二分类为什么不用 MSE？
• 训练中 loss 出现 NaN 怎么排查？
• 梯度累积的原理是什么？
• 余弦相似度、点积、欧氏距离有什么关系？
• KMeans 的流程、缺点和改进？
• Xavier 初始化和 Kaiming 初始化有什么区别？大模型怎么初始化？