协方差矩阵是不是半正定的？ | 问答 | 问答 | 果壳网 科技有意思
协方差矩阵是不是半正定的？
+ 加入我的果篮
科学松鼠会成员，信息学硕士生
考虑概率分布组成的线性空间，显然协方差是其中的一个bilinear form，而且显然是非退化的，所以它是一个内积。由此可知，协方差矩阵是关于协方差这个内积的Gram矩阵，自然是对称半正定的，而且它是正定的当且仅当所有涉及的概率分布都是线性无关的。
Obviously~
协方差矩阵（Covariance matrix）是对称半正定的。
后回答问题，你也可以用以下帐号直接登录
(C)2013果壳网&京ICP备号-2&京公网安备协方差矩阵与结构方程
协方差矩阵与结构方程
协方差矩阵和相关矩阵的关系
1、协方差矩阵
&&&&&协方差是衡量两个随机变量的相关程度。
&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&
&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&
&&&&&&&&&&&&&&&&3
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&（1）XCijXi,
&&&&&&（2）
、相关矩阵
卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。
　　&&&&&&&&&&&&&&&&
　　相关系数的值介于&1与+1之间，即&1≤r≤+1。其性质如下：
当r&0时，表示两变量正相关，r&0时，两变量为负相关。
当|r|=1时，表示两变量为完全线性相关，即为函数关系。
当r=0时，表示两变量间无线性相关关系。
当0&|r|&1时，表示两变量存在一定程度的线性相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱。
一般可按三级划分：|r|&0.4为低度线性相关；0.4≤|r|&0.7为显著性相关；0.7≤|r|&1为高度线性相关。
相关矩阵也叫相关系数矩阵，是由矩阵各列间的相关系数构成的。也就是说，相关矩阵第i行第j列的
、协方差矩阵和相关矩阵的关系
用matlab函数表达为：&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
X'=zscore(X)
&&&&则协方差矩阵和相关矩阵的关系可表达为：
&&&&&&&&&&&&&&&&&&&&&&&&&&
correoff(X)=cov(zscore(X))
根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。
变量说明：
设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
其中对应着每个随机向量X的样本向量，
对应着第i个随机单变量的所有样本值构成的向量。
单随机变量间的协方差：
随机变量之间的协方差可以表示为
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
根据已知的样本值可以得到协方差的估计值如下：
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
可以进一步地简化为：
&&&&&&&&&&&&&&&&&&&&&&&&&&
&协方差矩阵：
&&&&&&&&&&&&&&&&&&&&&&&&
其中，从而得到了协方差矩阵表达式。
如果所有样本的均值为一个零向量，则式（5）可以表达成：
补充说明：
1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素Cij就是反映的随机变量Xi,
Xj的协方差。
2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。
3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。
4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。
结构方程模型
结构方程模型（Structural Equation
Model，简称SEM）作为一种多元统计技术，产生后迅速得到了普遍的应用。20世纪70年代初一些学者（Joreskog，1973；Wiley，1973）将因子分析、路径分析等统计方法整合，提出结构方程模型的初步概念。随后Joreskog与其合作者进一步发展了矩阵模型的分析技术来处理共变结构的分析问题，提出测量模型与结构模型的概念，促成SEM的发展。结构方程模型为实际上即一种验证一个或多个自变量于一个或多个因变量之间一组相互关系的多元分析程式，其中自变量和因变量既可是连续的，也可是离散的。另外，在学术活动方面，根据
Hershberger（2003）研究 1994 至 2001 年间的相关文献发现，到了 2003
年，不论在刊登结构方程模型相关论文的期刊数、期刊论文的数量、结构方程模型所延伸出来的多变量分析技术等各方面，均有大幅度的成长，显示结构方程模型已经是一门发展成熟且高度受到重视的学问与技术。结构方程模型除了拥有专属期刊《结构方程模型》（Structural
Equation Modeling），专门刊登与结构方程模型有关的论文与实证研究在心理学界也很重要。
　　结构方程建模涵盖了多种原有的多变量数据分析方法，适用于定序、定类以及定距和定比尺度，在管理学、经济学等社会科学以及自然科学的统计实证研究中逐渐得到大量的应用。结构方程模型整合了路径分析、验证性因素分析与一般统计检验方法，可分析变量之间的相互因果关系，包括了因子分析与路径分析的优点。同时，它又弥补了因子分析的缺点，考虑到了误差因素，不需要受到路径分析的假设条件限制。结构方程模型可同时分析一组具有相互关系的方程式，尤其是具有因果关系的方程式。这种可同时处理多组变量之间的关系的能力,有助于研究者开展探索性分析和验证性分析。当理论基础薄弱、多个变量之间的关系不明确而无法确认因素之间关系的时候，可以利用探索性分析，分析变量之间的关系；当研究有理论支持的时候，可应用验证性分析来验证变量之间的关系是否存在。
　　虽然结构方程模型在多个学科领域得到了广泛的应用，但很少有研究者对结构方程模型的建立过程做出说明，许多研究者在查阅相关资料时会遇到困难。因此，通过简单介绍在法经济学中如何合理应用结构方程，对结构方程模型的建立过程进行了探讨，希望起到抛砖引玉的作用。除此之外对管理学和经济学而言，结构方程模型特别有用，它提供了一种系统的思考方法，除了对特定的隐变量做研究外，还为定性研究向定量研究的转变开辟了新的思路。
　　一、结构方程模型的基本原理
　　结构方程模型假定一组潜在变量之间存在因果关系，潜在变量可以分别用一组显变量表示，是某几个显变量中的线性组合。通过验证显变量之间的协方差，可以估计出线性回归模型的系数，从而在统计上检验所假设的模型对所研究的过程是否合适，如果证实所假设的模型合适，就可以说潜在变量之间的关系是合理的。
　　（一）一般方程模型
　　1．结构方程
　　带有潜在变量的结构方程模型有两种基本模式：结构式和测量模式（侯杰泰、温忠麟、成子娟，2004）。结构模式说明潜在外生变量和潜在内生变量之间的因果关系，这种关系以图形的形式表达出来就称为路径图。
　　结构方程η=Bη+Γξ+ζ
　　方程中为ξ潜在外生变量（潜在自变量）矩阵；η为潜在内生变量（潜在因变量矩阵；）为结构系数矩阵，Γ它表示结构模型中潜在自变量矩阵ξ对潜在因变量矩阵η的影响；B为结构系数矩阵，它表示结构模型中潜在因变量矩阵η的构成因素之间的互相影响；ζ结构方程的残差矩阵。
　　2．测量方程
　　测量模式说明潜在变量η、ξ和测量变量y、x之间的关系。测量方程可以表示为Y=ΛYη+ε，式中Y为η的测量变量矩阵；ΛY为测量系数矩阵，它表示潜在内生变量（潜在因变量）矩阵η和其测量变量Y之间的关系；η为潜在内生变量（潜在因变量）矩阵；ε为测量方程的残差矩阵。
　　测量方程可以表示为X=ΛXξ+δ，方程中X为ξ的测量变量矩阵；ΛX为测量系数矩阵，它表示潜在外生变量（潜在自变量）矩阵η和其测量变量X之间的关系；ξ为潜在外生变量（潜在自变量）矩阵；δ为测量方程的残差矩阵。
　　（二）模型的估计与评价
　　模型一旦设定，接着就需根据观测变量的方差和协方差进行参数估计。结构方程模型的估计过程与传统统计方法有所不同，它是从样本求得表型变量的协方差阵、或相关阵出发，推导出一个引申的方差和协方差矩阵，或相关阵，使矩阵的每一个元素都尽可能地接近样本中观测变量的方差协方差矩阵中的相应元素。如果模型设定正确的话，将非常接近于方差协方差矩阵，所以估计过程就是采用特殊的拟合函数使得引申的方差协方差矩阵与表型变量的协方差阵之间的差别尽可能地小。
　　对模型的估计已发展起众多的估计方法，如最大似然估计、广义最小二乘法、不加权的最小二乘法和渐进无干扰的加权最小二乘法等。较常用的是最大似然估计、广义最小二乘法，但不同的估计方法各有其优缺点。主要目的在于讨论结构方程模型的一般原理，相关的计算方法可以参考相关的资料。
　　对模型的评价，涉及到模型对数据的拟合程度。关于模型的总体拟合程度有许多测量指标和标准，最常用的拟合指标是拟合优度的卡方检验（χ2），其卡方值可利用拟合函数值直接推导出来，等于拟合函数值和样本规模减1的乘积。卡方值的大小与样本规模有关，故又相继发展起拟合优度指数（GFI）、修正的拟合优度指数（AGFI）、绝对拟合优度指数、增值拟合优度指数、省俭拟合优度指数、离中拟合优度指数，以及平方平均残差的平方根（RMR）、本特勒—波内特规范拟合指数（NFI）、近似误差平方根（RMSEA）和信息标准指数等。可根据用于验证的数据特征、样本规模及假设条件选择相应的评价指标。
　　二、结构方程模型的主要特点
　　从结构方程模型基本原理的介绍可知，结构方程具有验证性功能。研究者利用一定的统计手段，对复杂理论模型加以处理，根据模型与数据关系的一致性程度，对理论模型做出适当评价，从而证实或证伪事先假设的理论模型。从处理过程可归纳出以下特点。
　　（一）具有理论先验性
论文出处(作者):
　　结构模型最重要的一个特性是必须建立在一定的理论基础之上，从变量内容的界定、变量关系的假设、参数的设定、模型的安排与修正，一直到应用分析软件进行估计，每个步骤都必须以清楚的理论模型或逻辑推理为依据。
　　（二）同时处理测量与分析问题
　　结构模型将不可直接观察的概念，通过潜在变量的形式，利用显变量的模型化分析来加以估计，不仅可以估计测量过程中的误差，还评估测量的信度与效度。探讨变量关系的同时，把测量过程产生的误差包含于分析过程之中，把测量信度的概念整合到路径分析等统计推断决策过程。
　　（三）以协方差的运用为核心
　　结构方程分析的核心概念是变量协方差（Covariance），如果研究者所设定的SEM模型有问题，或是数据估计过程导致协方差矩阵无法导出，整个结构方程模型分析就无法完成。
　　（四）适用于大样本分析
　　结构方程处理的变量数目较多，变量之间的关系也较为复杂，为了维持统计假设不致违反，必须使用较大的样本；样本规模的大小，也关系到结构方程分析的稳定性与各种检验指标的适用性。
　　（五）重视多重统计指标的运用
　　虽然结构方程集多种不同统计技术于一身，但对统计显著性的依赖程度却远不及一般统计分析。结构方程参考的指标不以单一参数为主要标准，注重整合性的系数，并发展出不同的统计评估指标，使使用者可从不同角度来进行分析、评价。结构方程模型具有以下几个方面的优势：可以同时考虑和处理多个因变量；容许自变量及因变量含有测量误差；与因子分析相似，容许潜在变量由多个观察指标构成，并且可以同时估计指标的信度及效度。
　　三、结构方程模型的建立过程
　　（一）理论基础
　　结构方程模型并没有给出建立理论模型的一般模式，其理论的建立依赖于各个相关领域的研究基础，这里以法经济学中的公司治理理论为例，来说明经理人报酬影响因素的分析。人力资本在公司治理中的专用性和专有性，形成了公司产权的重要内容，成为公司治理的主体。股东大会是股东权力的集合。虽然有形式上的最高权威性，但真正控制公司方向和运营的是治理公司的董事会和总经理阶层，他们是公司权力的中心。因为股东大会具有周期性、原则性、群众性的特点，它只能体现公司的经济民主和权力的制约，而不能真正实现公司治理，否则就不需要董事会和总经理实践验证。公司治理必须依靠董事会、总经理阶层的决策和经营来实现。因此公司权力束中必然要求有期股、期权、剩余控制权和剩余索取权的合理存在，以此激励决策经营层的努力（曲振涛，2006）。
　　在现代企业中，经理报酬的确定并不是一个简单的要素市场均衡，而是在特定环境约束下，综合市场选择与治理评价的复杂过程。市场选择主要反映经理的人力资本禀赋、要素资源稀缺性、经理劳动的复杂程度等方面，在均衡状态下形成经理的现行市场价。但这仅仅是经理报酬的一个定价基础，最终的经理报酬方案是治理主体依据公司内外部环境条件，包括组织战略、资源特征、营运能力、经理贡献、公司治理要求、经理的谈判能力、以及公司外部环境的其他因素等综合评价的结果（李有根、赵西萍，2000）。因此，董事会或者报酬委员会对经理报酬的确定，既要体现出与经理人力资本价值相关的基本要素，又要充分考虑公司生存发展的环境基础。
　　（二）测量指标的选择
　　在对经理人等高管报酬水平影响因素的分析中可以选取企业绩效、经理业绩、企业规模作为基准因素。其中企业绩效是对企业盈利结果的体现，一般是用总资产收益率、净资产收益率、每股收益3个财务指标来测量。企业规模测量使用总股本指标。公司治理因素选择股权结构和董事会结构两个方面。测量股权集中度的指标有第一大股东持股比例、前2名大股东股权集中度（曲振涛、周方召，2004）。反映董事会结构的指标有内部董事构成比例、外部专家董事构成比例、第一大股东代表董事比例三个指标构成。同时选取公司所在地区和所在行业两个指标来反映公司的分类因素。以总资产运营率和流动资产运营率来反映公司的营运效率。模型中经理报酬水平为潜在内生隐变量，使用经理年度固定报酬和高管人员平均年度固定报酬两个指标来反映。经过简化和挑选，选择第一大股东持股比例（No1）、前2名大股东股权集中度（S2）、总资产运营率（Ttc）、流动资产运营率（Twc）、公司所在行业（Ind）、公司所在地区（Zone）、经理固定报酬和公司高管平均报酬。
　　（三）理论模型的结构表达
　　在上述的理论基础中，公司所在地区和所属行业属于外生变量，使用经理报酬水平为内生变量，可以建立结构方程。通过这种方法得到的结构方程表达和方程估计结果，可以很好地反映出各因素之间的关系和影响路径，这就为公司法经济学分析中的公司治理理论提供了更为清楚的路径。具体的结构关系见图1。
　　近年来，针对结构方程出现了一些新的应用途径。主要包括（方平等，2002）多重样本分析、交互作用效应的检验、均数差异检验和纵向设计。其中多重样本分析可以检验在某个样本中不能识别的模型，在另两个或多个样本中是否能够识别，因此这种方法是交叉验证模型的一种极好的检验工具。对于交互作用效应的检验方面，应用结构方程程序可以把组合项定义为一个潜在变量并为其设置多个指标，同时对测量误差加以控制，以解决组合项检验能力的低信度问题。
　　参考文献:
　　［1］ 李有根,赵西萍.经营者报酬机制的决定因素研究综述［J］．经济学动态，2000（1）．
　　［2］ 方平,熊端琴,曹雪梅.结构方程模式的发展与应用［J］．心理科展，2002（3）.
　　［3］ 侯杰泰,温忠麟,成子娟.结构方程模型及其应用［M］．北京：教育科学出版社，2004.
　　［4］ 邱皓政.结构方程模式：LISREL 的理论、技术与应用［M］．台湾：双叶书廊有限公司，2003.
　　［5］ Hershberger,S.(2003).The growth of structural equation
modeling:. Structural equation modeling,10, 35-46.
论文出处(作者)
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。急为什么PCA求的协方差矩阵有负值?解决方法 - 图形/图像栏目()
急为什么PCA求的协方差矩阵有负值?解决方法
&&&整理于： 19:18&&&阅读：次
我是用PCA做人脸识别,为什么求得的协方差矩阵出现负值?难道中心化图像数据要取平均值吗?我对图像分成四块后,有3块没有负值,有一个子块出现了负值,怎么回事?不是应该非负定的吗?-----参考解决方法-------
用opencv的cvCalsCovarMatrix函数试试看
开发者笔记
软件开发/管理/测试
企业管理/开发
嵌入式开发
高性能开发
编程语言/框架
专题项目/开发/技术
Linux/Unix 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
协方差矩阵与主成成分分析(整理后)
下载积分：2000
内容提示：协方差矩阵与主成成分分析(整理后)
文档格式：DOCX|
浏览次数：7|
上传日期： 17:30:07|
文档星级：
该用户还上传了这些文档
协方差矩阵与主成成分分析(整理后)
官方公共微信