想更深层次的学习函数与数据透视表，能推荐几本好点的实用教材吗？
全部答案（共1个回答）
2010 数据透视表大全》
数据透视表在WPS上挺好用。数据透视表作用是可以动态地改变它们的版面布置，以便按照不同方式分析数据，也可以重新安排行号、列标和页字段。每一次改变版面布置时，数据...
加一个辅助列
然后在辅助列里输入公式 =right(b1,1)&""
然后向下复制和粘贴就可以了,4000多行,太多了,那么就直接点列首字母,选中这一列粘贴
首先要理解它们的定义，然后多练习，多做题。
1. 是否有“月份”这一列？
如果没有，则需要添加这一列，并给它赋值；
例如，原来只有日期和对应的值，那么增加“月份”一列后，需要将日期对应的月份都填写好；
答: 1、普通坐便器也分品牌，品牌价格一般较高，一般有低中高端三种，存在不同的价格区间，但是这个在品牌里面选坐便器是有坚实质量保证的。
2、如果不看质量，只是看价格...
答: 我可以给你提供个想法，仅供参考咯~！
可以从培训人才和被培训人才的数据比例来说明拉，很有说服力哦~！
祝你好运！
答: 2)英国的科学教育：在英国“全国学校课程”中，科学和数学并列为三大核心课程，所有5—16岁的儿童都必须接受法定的科学教育
答: 在我国目前的教学体制下，考试，哪怕是平时的小型考试，都是鉴定和评定我们学习水平最重要的参考标准，你聪明不聪明，用功没用功，知识掌握了没有，谁说了也不算，拿考试成...
餐饮业厨房产生的油烟，顾名思义，废气中主要污染物为油烟，一般采用静电除油。
液化气属较清洁能源，废气污染程度不高，主要含二氧化碳一氧化碳吧。
柴油属石油类，废气含二氧化硫和氮氧化物，二氧化硫碱液喷淋即可去除，氮氧化物主要以一氧化氮为主，要催化氧化成二氧化氮才能被碱吸收，造价成本非常高，一般的柴油发电机尾气难以治理，除非大型发电厂。
煤炭废气含二氧化硫多，一般常用的脱硫工艺即可。
如果是下拉的，只有党员而没有预备党员一项，可填党员，但如果是填写的，你就老老实实填预备党员，填成党员对你没什么好处，填预备党员也不会有什么吃亏。
冷凝水出水口堵，用铁丝通一下，再倒杯水试一下，是否畅通？如果不行就把冰箱拉出来，看冰箱后背下部有一个塑料小管，把管子摘下来用水冲干净，再通一下连接塑料管的出水口，就可以了．
做鲫鱼汤很重要的一点是注意火候的把握。
步骤如下：
买新鲜现杀的鲫鱼两条，个头要适中。洗的时候要把鱼鳞全部弄干净，鱼肚里也要洗净，免得汤有腥味；
洗好后，在鱼身上涂抹适当食盐，腌放十分钟；
准备好香葱三根，洗净，打结备用；
切好姜片若干（根据鱼的大小和量）；
均匀涂抹姜汁于锅内（防止鱼皮粘锅），倒入色拉油，点火；
油不宜太热，将火旋小，轻轻放鱼入锅，同时放入姜片，把火调大；
煎至鱼皮微露金黄色，将鱼轻轻翻身，直至也微呈金黄色；
煎的过程中，注意转动锅，使鱼均匀煎透；
把火调小，加冷水至淹没鱼为止，放入备好的葱结，开大火，煮沸；
把鱼翻身，再煮五分钟，放入适量的盐，继续煮，直至汤呈现奶白色；
加味精，煮两分钟。
同时准备好吃鱼的料：蘸鱼的陈醋少许倒入碗中，放少许盐，糖，味精，搅拌均匀。
将鱼单独盛在大碗里，鲫鱼汤盛在汤碗里；鱼蘸着料吃，汤即喝。
^_^，美味的鲫鱼汤呈现在你的眼前了，还有香喷喷的鱼肉……
无权代理包括狭义的无权代理和表见代理。狭义的无权代理，是指行为人没有代理权而以他人名义实施的代理行为。表见代理，是指代理人虽不具法律教 育网备代理权，但因某种表象，足以使善意第三人相信代理人对本人有代理权而与代理人为法律行为，由此产生的法律效果依法直接归本人承担的代理。
　　两者的相同点：首先，行为人都没有本人的授权，不具有代理权。其次，行为人实施的都是民事行为。
　　两者的不同点：首先，构成要件不同。无权代理，客观上没有足以使人相信行为人有代理权的事由。表见代理，客观上具有足以使第三人相信行为人有代理法律 教育网权的事由。其次，狭义的无权代理立足于保护被代理人的利益;表见代理立足于保护善意第三人的利益。最后，法律后果不同。无权代理属效力待定的民事行为，被代理人追认而确定有效，被代理人的拒绝而绝对无效。表见代理的法律后果直接归属于被代理人。
　　无权代理、表见代理与无权处分的区别：
　　两者的区别主要在于：一方面，无权代理是指无权代理人以被代理人的名义实施民事行为，而无权处分则是指无权处分人以自己的名义实施民事行为。另一方面，在狭法 律教育网义无权代理的情况下，相对人不具有正当理由信赖无权代理人具有代理权，因而法律教 育网原创相对人是有过失的，不得适用表见代理制度。而在无权处分的情况下，相对人则可能是善意的。在无权处分人无权处分他人的动产时，如果受让人取得该动产时出于善意，则可以依法取得该动产的权利。
所谓表见代理，是指行为人没有代理权、超越代理权或者代理权终止后签订了合同，如果善意相对人有理由相信行为人具有代理权，那么善意相对人就可以向被代理人主张该合同的效力，被代理人须对此承担责任的代理。简言之，即本无代理权，但表面上却足以令人相信其有代理权而按有权代理对待的行为。表见代理制度始见于1900年的《德国民法典》，后为日本、瑞士、台湾等大陆法系国家或地区所接受。普通法虽无表见代理的概念，但有与之同一实质的“不容否认代理”制度。我国《民法通则》规定了有权代理和无权代理的法律后果，但对表见代理制度未作规定，《中华人民共和国合同法》以前的三个合同法对表见代理制度也未作规定。表见代理制度是《中华人民共和国合同法》规定的一项重要制度。《合同法》第49条规定“行为人没有代理权、超越代理权或者代理权终止后以被代理人名义订立合同，相对人有理由相信行为人有代理权的，该代理行为有效”，这是我国立法第一次规定了表见代理制度，从而进一步完善了民法通则确立的无权代理制度。
从本质上讲，表见代理是一种无权代理、假代理，不具备有权代理、真代理的实质特征，即欠缺代理权，但具备代理行为的表面特征。表见代理的特征表现为：(1)行为人实施无权代理行为，即行为人没有代理权、超越代理权或者代理权终止后仍以被代理人名义订立合同；(2)相对人依据一定事实，相信或认为行为人具有代理权，在此认识基础上与行为人签订合同。相对人依据的事实包括两个方面：其一是被代理人的行为，如被代理人知道行为人以本人名义订立合同而不作否认表示；其二是相对人有正当的客观理由，如行为人持有单位的业务介绍信、合同专用章或者盖有公章的空白合同书等。(3)相对人主观上善意、无过失。既然属于一种无权代理，本应由无权代理人自食其果方为允当。然而不容忽视的是，由于被代理人的作为和不作为，制造了代理权存在的表面现象，并且引起了善意相对人的信赖，后者的利益关系到市场交易安全的问题。“相对人可以基于表见代理对被代理人主张代理的结果”[1]因此设立表见代理制度的目的在于保护合同相对人的利益，维护交易安全，依诚实信用原则使怠于履行其注意义务的本人直接承受没有代理权、超越代理权或者代理权终止后仍为代理行为而签订的合同的责任。
表见代理的功能主要有以下几点：第一，表见代理体现着当事人无过错条件下的选择。表见代理是指代理人没有代理权，但相对人有充分理由相信代理人有代理权，在这种情况下，相对人与代理人发生的法律行为的结果由本人承担。在表见代理的情况下，第三人必须是善意无过错的，对这一点无论是理论界还是实务界是没有争议的。第二，表见代理是市场经济条件下，当事人利益的法律衡平，进一步维护社会公平和正义。有的学者认为，表见代理是为了保障财产的动态安全，也有的学者认为表见代理既为了保障动态安全，也为了保障静态安全。第三，表见代理是效率重于公平的体现。从表见代理的规定来看，尽管相对人有充分理由相信代理人代表本人，但实际上并不代表本人。在代理人不代表本人，本人不同意接受代理人的行为结果，而本人又无过错的情况下，让本人对代理人的行为后果负责，实质是对本人意志的一种强制。但是，另一方面，表见代理制度的建构，很大程度是因为在表见代理所设定的情况下，代理人的财产和信誉已不足以保护善意相对人的利益，本人如果不对代理人的行为负责，善意无过错相对人的权益就无法保护，财产权益势必遭到损失。因此，表见代理是在保护无过错的本人权益还中保护善意相对人的权益的两难情况下所作出的艰难选择。从两者权益的法律价值来看，不保护本人的权益仅仅是一个民事主体的损失（有的情况下还不一定有损失，如由本人与相对人全面履行一个代理人和相对人签订的一个合同），而不保护善意相对人的权益，不仅仅是影响一个善意相对人的权益问题，将影响民事主体参与市场活动的信心、改变市场主体的数量、降低市场的活动、扰乱市场的秩序、降低市场经济的效率。
表见代理的一般构成要件是指各种类型的表见代理在成立时都必须具备的要件，它反映所有表见代理的共同特点。成立应具备以下条件：(1)行为人实施无权代理行为，即行为人没有代理权、超越代理权或者代理权终止后仍以被代理人名义订立合同；(2)相对人依据一定事实，相信或认为行为人具有代理权，在此认识基础上与行为人签订合同。相对人依据的事实包括两个方面：其一是被代理人的行为，如被代理人知道行为人以本人名义订立合同而不作否认表示；其二是相对人有正当的客观理由，如行为人持有单位的业务介绍信、合同专用章或者盖有公章的空白合同书等。(3)相对人主观上善意、无过失。相对人不知道行为人没有相应的代理权，若相对人明知或应当知道行为人没有代理权仍与其订立合同，不构成表见代理，给它人造成损害的，还要由相对人与行为人承担连带责任。在本条的立法过程中，对于是否要求以本人的过错作为表见代理合同的构成要件曾有两种不同的意见，一种意见认为，应当以本人的过错作为表见代理合同的要件，否则对本人是不公平的；另一种意见认为，表见代理制度最重要的特征就是相对人有正当理由相信行为人有代理权，而不问本人是否有过错。最终合同法采纳了第二种意见。(4)所签订的合同，应符合合同有效的一般条件，本身不具有无效和应被撤销的内容。否则，该合同应按无效和可撤销的规定处理。另外，还应注意的是，无权代理与被代理人、相对人都有利害关系，在处理其关系上不可偏废失衡，既应保护被代理人利益，所谓维护社会生活中静的安全，又要保护无过错相对人的利益，所谓维护社会生活中动的安全，从而达到各种利益的平衡。[2]
表见代理有三种构成类型：(1)授权表示型表见代理。即以自己的行为表示授予他人代理权，或者他人表示为其代理人而不作反对表示，从而须对之负授权人责任的表见代理。但是，相对人明知其无代理权，或者应当知道者，不在此限。比如在委托代理中，委托人(被代理人)应当有明确的授权范围，若授权代理时未指明代理权限，或者其指明的权限未在代理证书上写明，以及把有关证明文书(包括合同章和盖有印章的空白合同书等)交给行为人，均可使相对人善意无过失地相信代理人为有权代理，而与之签订合同等等。(2)权限逾越型表见代理。即代理权嗣后被限缩，但因被代理人的行为造成足以令人相信其未被限缩的假象而发生的表见代理。此情形多发生在外部授权而内部限缩其授权，但这种对代理权的内部限制不具有对抗相对人的效力。(3)权限延续型表见代理。即代理关系终止后，因被代理人的行为造成足以令人信其代理权存续的假象而发生的表见代理。此情形多发生在外部授权而内部撤回的场合。代理权终止后，为防止原代理人继续为代理行为，被代理人一般应当采用与授权相同的方法实施撤权行为，如通知相对人、公告、收回代理证书等，以防止发生不利于自己的后果。如因被代理人未采取必要措施或因其某种行为致使存在足以使人相信代理人仍具有代理权的假象，相对人不知代理关系终止而仍与其订立合同的，可构成表见代理。
　　我国《合同法》第四十九条规定“行为人没有代理权、超越代理权或者代理权终止后以被代理人的名义订立合同，相对人有理由相信行为人有代理权的，该代理行为有效”。这就是法律规定的“表见代理”制度。
　　“表见代理”的特征表现在——行为人以“被代理人”的名义与相对人订立合同实际上并未获得“被代理人”的授权，大多数是行为人借“被代理人”之名，行个人诈骗之实;但其实施的行为足以让相对人相信其获得了“被代理人”的授权，是为“被代理人”订立合同;导致相对人如此相信的原因大多是“被代理人”存有过错;因此种代理订立的合同对“被代理人”具有约束力，其应当向相对人履行合同中的义务;“被代理人”因此蒙受的损失只能向行为人追偿。有人说“表见代理”就是根据对行为人的表面所见，其具有为某人实施代理的权利，那么其实施的行为引发的法律后果就应由该人承担。这样理解“表见代理”虽不准确，但也不无道理。
　　“表见代理”的产生，往往都是由“被代理人”存有下列过错而导致的：①有的是因公章或加盖有公章的空白合同、信函保管、使用不慎，被行为人借用、盗用，致相对人相信行为人有代理权，案例中某建安公司正是存在这种过错;②有的是对代理人的代理权限未作限制，或者授权不明，在代理人超越代理权以“被代理人”的名义与相对人实施交易行为时，难以让相对人识别;③有的则是在终止了代理人的代理权后，没有或者没有及时通知有关业务单位和有关人员，致使他们认为其代理人仍有代理权，案例中的某家具厂正是如此。正因为“表见代理”大多与“被代理人”的过错有关，因此法律规定由其对“表见代理”引发的法律后果承担责任是公正、合理的。至于“被代理人”由此蒙受的损失，其可以向实施“表见代理”的行为人追偿。
我国代理制度曾长期缺乏表见代理的相关规定，但司法机关为了及时公正地处理民事纠纷，根据民法的基本原则和国外有关表见代理的理论与实践，也处理了不少表见代理的案件。笔者根据有关规定，结合这些案例，对我国现实生活中的表见代理的主要情况作如下总结和分：
　　(一)没有代理权的表见代理
　　从代理权至始不存在，但行为人仍以被代理人名义进行活动方面看，与狭义无权代理是相同的。这种无权代理之所以构成表见代理，主要是由于被代理人明示或者默示的行为致使相对人相信其具有代理权，而与之为民事行为，尽管事实上被代理人并未授予其代理权，仍构成表见代理。这种表见代理在现实中主要表现为以下两种情况：
　　1、本人向第三人表示以将代理权授予他人，但事实上并未授权。例如，张某出国前曾对其客户李某讲，其出国期间将委托好友王某打理公司生意。事后，张某因出国仓促并未将委托之事告知王某。张某出国后，李某找到王某欲订购张某一批货物。王某因担心好友失去交易机会，便与李某订立了一份货物买卖合同。张某回国后，发现合同价格不合理，遂提出王某没有代理权，该合同自始无效。该案张某告知李某委托王某在其出国期间打理公司事务的行为属于声明授权行为，李某作为善意第三人并不知，也不应当知道张某事实上未授权，这样三方当事人构成表见代理关系。
　　2、知道他人以自己的名义实施民事行为，而不作否认。这里指的是在本人无过错的情况下，他人以其名义从事活动。当本人得知他人以自己的名义从事民事活动时(通常是由相对人向其催告而得知)，应当对他人无权代理行为表明态度。本人所表示的不同态度，可以产生不同的法律后果。如果本人表示承认，等于其在事后授予无权代理人以代理权，这种追认行为具有追溯效力，致使原来的无权代理变成了有权代理，本人应承担给代理行为所产生的后果;如果本人表示否认，因本人对他人无权代理的行为的发生并无过失无权代理人与相对人所为的行为对本人无任何法律约束力;如果本人明知他人进行无权代理而又不明确表示否认，虽然其对于他人以自己名义从事民事活动无过错，但其明知而不否认，不可谓之无过失，由此而造成相对人进一步确信行为人有代理权，因而应构成表见代理。例如，某工程处曾为某工程局施工，工程竣工后，该工程处利用在为工程局施工中掌握的一些信息和资料，在另一工程中打着该工程局的旗号承揽施工。工程建设单位曾几次来电来函询问该工程局，该局未予答复，不置可否。因工程处施工质量不合格，被建设单位索赔。工程处不想承担责任，遂解散消失。建设单位于是找到工程局要求赔偿，此案构成表见代理。
　　(二)超越代理权的表见代理
　　行为人虽具有某种代理权，但其超出代理权限而从事代理活动，就其越权代理的事项而言，仍属无权代理。法律要求被代理人可能对代理权限有所限制，但有时不能为第三人所了解，而表现在外的客观情况，如能使善意相对人误信行为人就其所为事项具有代理权，与其为民事行为，从而构成表见代理，本人自应承担越权表见代理的法律后果。这就是现代代理制度中“代理权的限制不得对抗善意相对人”的原则。这种表见代理在现实中主要表现为以下四种情况：
　　1、企业法人的分支机构、办事处超越授权以企业名义进行的民事活动。企业的分支机构和办事处未领取法人营业执照，不具有法人资格。在代表本企业进行民事活动时，企业内部一般赋予他们一定的权限。但如果企业内部管理混乱，办事处和分支机构有时会为了自身利益，超越内部的授权或规定为民事行为。如果这些内部的授权或规定未予公示，不为善意第三人所知，善意第三人是有理由相信办事处和分支机构有代理权。
　　2、企业的法定代表人、雇员的越权代理行为。企业的法定代表人一般情况下，有在企业的营业执照规定的经营范围内代表企业从事经营活动的通常权限;雇员有其所在岗位的通常权限，如物资部门经理订购物资的权限和工程师对施工单位验工计价的权限等。如果企业对他们的通常权限有所限制，应予以公示。如果仅为内部指示或规定，不为善意相对人知悉，则企业应对法定代表人的越权行为承担表见代理的责任。
　　3、被代理人将具有代理权证明意义的文件印鉴交于他人，使他人得以凭借其以代理人身份实施民事活动。企业将印章、合同章、单位的空白证明信、空白委托书、空白合同文本等交给代理人去办理某项业务，主要是了工作的方便。但是如果代理人办理的业务并非企业实际要求他办理的业务，或是虽为授权业务，但在价格、数量等方面超出了企业的实际授权，善意相对人并不知道，在这种情况下所为的民事行为，构成表见代理。企业不能以“实际未交待代理人为某项法律行为”为由，拒绝承担表见代理的责任。目前，有许多单位对此管理不严，本单位人员出差随意携带，临时填写，有的甚至交给外单位人员携带使用，当这些人员签订合同后，如认为对自己不利，就以未授权为由进行推诿，不承担代理产生的结果。由于这些文件和印鉴在一般情况下与特定的主体相联系，具有专用性，行为人持有具有代理权证明意义的文件和印鉴，这一事实本身，客观上极易使相对人误认其具有代理权，尽管其中有的无权代理人只是利用被代理人的名义为自己谋利益，但对被代理人来说，仍不能完全排除表见代理的适用。
　　4、挂靠经营中超出挂靠协议约定范围的经营活动就属于超越代理权的表见代理。所谓挂靠经营，是指目前社会上一些单位(被挂靠单位)允许一些没有进行工商登记领取营业执照的集体单位、个人，或者虽经登记领取营业执照，但为了经营上的便利和税收方面的原因而不愿使用自己的名义的个体工商户，私营企业等，适用这些单位的名称、印章、帐户等对外从事民事活动，被挂靠单位从中收取“管理费”和“手续费”。挂靠经营活动在未上升到诉诸法律解决问题的时候，挂靠单位虽以被挂靠单位名义进行经营活动，但往往自己享受利益并承担责任，挂靠单位在挂靠协议约定范围内或授权范围内以被挂靠单位的名义进行经营活动，应属有权代理。如果挂靠单位不承担责任或难以承担责任，必然由挂靠单位承担。除前述情况外，现实经济交往中还大量存在着挂靠单位不遵守其与被挂靠单位签订的挂靠协议，在未授权的领域仍以被挂靠单位的名义进行经营活动，一旦挂靠单位难以承担责任，相对人会直接寻求被挂靠单位的救济。这时被挂靠单位往往以未授权或挂靠单位违反协议为由，拒绝承担责任。在这种活动中，相对人一般认为挂靠单位隶属于被挂靠单位，或虽知挂靠，但很难分清哪些是有权挂靠哪些是无权挂靠，被挂靠单位又未予公示，便构成表见代理。因此，被挂靠单位，应承担这种表见代理的后果。目前，挂靠在某些领域已被禁止，如对外经济贸易部和国家税务总局在2000年9月发文禁止进出口行业挂靠经营和借权经营。因此，违法的挂靠经营要受到行政处罚。但笔者以为，这并不影响善意相对人向被挂靠单位主张挂靠单位越权行为的表见代理责任。
　　(三)代理权终止后的表见代理。
　　行为人本来享有代理权，但由于某种原因代理权已经终止，在这种情况下，他仍然以代理人的身份为民事行为，此时其代理行为已属无权代理。如果因被代理人的过失，使善意相对人不知代理权已终止，仍认为行为人有代理权，则可构成表见代理。主要有以下两种情况：
　　1、代理期间届满或代理事务完成后的代理。凡书面委托代理的授权委托书或有关授权通知中均应按照法律规定载明代理期间及代理事务，如果本人没有具体作出规定，只要善意相对人不知这种情况，仍与代理人为民事行为，则成立表见代理。
　　2、本人取消委托后的代理。代理权可以依本人的意思而被撤销，这种撤销行为属单方法律行为，撤销通知到达代理人即发生法律效力——代理人丧失代理权。为了避免原代理人向他人实施无权代理行为，本人理应采取收回代理证书，通知第三人，或者发布撤销代理权的广告等措施。如果本人没有这样做，致使相对人不知代理权被撤销，仍与代理人为民事行为，则构成表见代理。例如，银行、信用社撤销代办站，解聘代办员，但未告知代办范围内的村民、居民，未全部收回代办员手中的存折，该代办员仍以代办站的名义吸收存款，发放存折，由此产生的纠纷，即使代办员违法，甚至构成犯罪，银行、信用社仍应承担表见代理的责任，兑付储户存款。
塑料托盘比较有名的还是中山的承和塑胶，专业生产各种工业周转箱，周箩筐，承压地台板，方盘，塑胶储物桶，及日用制品等各种塑胶制品的生产销售，具备多年的经验，产品质量上乘，产销量领先。
国际学校、海外大学直属分校6-10万人民币 因此，国家统招专升本应有别于“自考专升本”、“成考专升本”、“电大专升本”、“网络教育专升本”，是国家教育部认可，各省依规定统一组织安排，严格按招收条件差额录取的正规升学考试。学习期满成绩合格者根据《中华人民共和国学位条例》及有关规定申请授予相应的学士学位，所获学历国家认可为毕业生第yi学历，应享有同等于其他本科学历的一视待遇，不应出现有‘限制专升本人员报考’等学历歧视问题。成教专升本与统招报名对象不同。前者主要是往届生和英语3级没有达到60分的应届毕业生报名。后者只能是英语达标的应届毕业生填报。当然，如果你的英语达标，也可以参加社会类。
恒润利民的产品和工程服务，已经在全国地坪行业树立了良好的信誉和口碑。G司在成立之初就不断引进国际发达国家和地区的先进技术、新型地坪处理及施工工艺、设备及材料应用理念;并与国际知名品牌美国陶氏化学、德国巴斯夫、德国拜耳、德国汉高、瑞士西卡、台湾南亚等G司进行广泛的交流学习，材料的主要原料及添加的助剂均从国外进口只为国内提供品质优良的高端地坪产品、绿色环保的材料、先进的施工技术
ArtPLAY 爱艺树国际艺术空间，总部位于北京市朝阳大望京地区，毗邻“中央美院-CAFA”。是一个以国际艺术交流为平台，艺术教育为核心，具有艺术延展运营能力的机构组织。拥有国内、外多个战略合作伙伴，可以承办组织艺术节。我们的核心业务为艺术教育，分为：女性审美课堂和儿童艺术未来发展课堂两部分。·儿童培训课程是为了帮助孩子唤醒和打开儿童想象力，学会用颜色去感知身边的事物并逐步提升认知和表达能力。·女性审美课程旨在通过多种不同的专业艺术学习来帮助女性培养兴趣爱好，从而提高内在修养与外在气质。
塑胶托盘定做啊我倒是知道一家，叫做承和塑胶，在古镇那边，他们的托盘质量更好，承载性、抗冲击性更高，产品符合国家环保要求，技术指标均达GB/T15234－94国家标准，无毒环保。
正在加载...
Copyright &
Corporation, All Rights Reserved
确定举报此问题
举报原因(必选)：
广告或垃圾信息
激进时政或意识形态话题
不雅词句或人身攻击
侵犯他人隐私
其它违法和不良信息
报告，这不是个问题
报告原因(必选)：
这不是个问题
这个问题分类似乎错了
这个不是我熟悉的地区
相关问答：123456789101112131415一、监督学习简介
　　监督机器学习问题无非就是&minimizeyour error while regularizing your parameters&，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以，我们需要保证模型&简单&的基础上最小化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也小），而模型&简单&就是通过规则函数来实现的。另外，规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。要知道，有时候人的先验是非常重要的。前人的经验会让你少走很多弯路，这就是为什么我们平时学习最好找个大牛带带的原因。一句点拨可以为我们拨开眼前乌云，还我们一片晴空万里，醍醐灌顶。对机器学习也是一样，如果被我们人稍微点拨一下，它肯定能更快的学习相应的任务。只是由于人和机器的交流目前还没有那么直接的方法，目前这个媒介只能由规则项来担当了。
1.1 规则化
　　还有几种角度来看待规则化的。规则化符合奥卡姆剃刀(Occam's razor)原理。这名字好霸气，razor！不过它的思想很平易近人：在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。从贝叶斯估计的角度来看，规则化项对应于模型的先验概率。民间还有个说法就是，规则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或惩罚项(penalty term)。
1.2 监督学习的一般形式
& & & &一般来说，监督学习可以看做最小化下面的目标函数：
　　其中，第一项L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小，所以我们需要加上第二项，也就是对参数w的规则化函数&O(w)去约束我们的模型尽量的简单。
1.3 正则化函数的选择
　　规则化函数&O(w)也有很多种选择，一般是模型复杂度的单调递增函数，模型越复杂，规则化值就越大。比如，规则化项可以是模型参数向量的范数。然而，不同的选择对参数w的约束不同，取得的效果也不同，但我们在论文中常见的都聚集在：零范数、一范数、二范数、迹范数、Frobenius范数和核范数等等。这么多范数，到底它们表达啥意思？具有啥能力？什么时候才能用？什么时候需要用呢？不急不急，下面我们挑几个常见的娓娓道来。
二、L0和L1范数
2.1 L0范数
　　L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。这太直观了，太露骨了吧，换句话说，让参数W是稀疏的。OK，看到了&稀疏&二字，大家都应该从当下风风火火的&压缩感知&和&稀疏编码&中醒悟过来，原来用的漫山遍野的&稀疏&就是通过这玩意来实现的。但你又开始怀疑了，是这样吗？看到的papers世界中，稀疏不是都通过L1范数来实现吗？脑海里是不是到处都是||W||1影子呀！几乎是抬头不见低头见。没错，这就是这节的题目把L0和L1放在一起的原因，因为他们有着某种不寻常的关系。那我们再来看看L1范数是什么？它为什么可以实现稀疏？为什么大家都用L1范数去实现稀疏，而不是L0范数呢？
2.2 L1范数
　　L1范数是指向量中各个元素绝对值之和，也有个美称叫&稀疏规则算子&（Lasso regularization）。现在我们来分析下这个价值一个亿的问题：为什么L1范数会使权值稀疏？有人可能会这样给你回答&它是L0范数的最优凸近似&。实际上，还存在一个更美的回答：任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个&求和&的形式，那么这个规则化算子就可以实现稀疏。这说是这么说，W的L1范数是绝对值，|w|在w=0处是不可微，但这还是不够直观。这里因为我们需要和L2范数进行对比分析。所以关于L1范数的直观理解，请待会看看第二节。
　　对了，上面还有一个问题：既然L0可以实现稀疏，为什么不用L0，而要用L1呢？个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。所以大家才把目光和万千宠爱转于L1范数。
　　OK，来个一句话总结：L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优化求解特性而被广泛应用。
　　好，到这里，我们大概知道了L1可以实现稀疏，但我们会想呀，为什么要稀疏？让我们的参数稀疏有什么好处呢？这里扯两点：
2.3 稀疏的好处
　　1）特征选择(Feature Selection)：
　　大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。一般来说，xi的大部分元素（也就是特征）都是和最终的输出yi没有关系或者不提供任何信息的，在最小化目标函数的时候考虑xi这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确yi的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。
　　2）可解释性(Interpretability)：
　　另一个青睐于稀疏的理由是，模型更容易解释。例如患某种病的概率是y，然后我们收集到的数据x是1000维的，也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设我们这个是个回归模型：y=w1*x1+w2*x2+&+w1000*x1000+b（当然了，为了让y限定在[0,1]的范围，一般还得加个Logistic函数）。通过学习，如果最后学习到的w*就只有很少的非零元素，例如只有5个非零的wi，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，决策性的。也就是说，患不患这种病只和这5个因素有关，那医生就好分析多了。但如果1000个wi都非0，医生面对这1000种因素，累觉不爱。
三、L2范数
　　除了L1范数，还有一种更受宠幸的规则化范数是L2范数: ||W||2。它也不逊于L1范数，它有两个美称，在回归里面，有人把有它的回归叫&岭回归&（Ridge Regression），有人也叫它&权值衰减weight decay&。这用的很多吧，因为它的强大功效是改善机器学习里面一个非常重要的问题：过拟合。至于过拟合是什么，上面也解释了，就是模型训练时候的误差很小，但在测试的时候误差很大，也就是我们的模型复杂到可以拟合到我们的所有训练样本了，但在实际预测新的样本的时候，糟糕的一塌糊涂。通俗的讲就是应试能力很强，实际应用能力很差。擅长背诵知识，却不懂得灵活利用知识。例如下图所示（来自Ng的course）：
　　1）学习理论的角度：
　　从学习理论的角度来说，L2范数可以防止过拟合，提升模型的泛化能力。
　　2）优化计算的角度：
　　从优化或者数值计算的角度来说，L2范数有助于处理 condition number不好的情况下矩阵求逆很困难的问题。哎，等等，这condition number是啥？我先google一下哈。
　　这里我们也故作高雅的来聊聊优化问题。优化有两大难题，一是：局部最小值，二是：ill-condition病态问题。前者俺就不说了，大家都懂吧，我们要找的是全局最小值，如果局部最小值太多，那我们的优化算法就很容易陷入局部最小而不能自拔，这很明显不是观众愿意看到的剧情。那下面我们来聊聊ill-condition。ill-condition对应的是well-condition。那他们分别代表什么？假设我们有个方程组AX=b，我们需要求解X。如果A或者b稍微的改变，会使得X的解发生很大的改变，那么这个方程组系统就是ill-condition的，反之就是well-condition的。我们具体举个例子吧：
　　咱们先看左边的那个。第一行假设是我们的AX=b，第二行我们稍微改变下b，得到的x和没改变前的差别很大，看到吧。第三行我们稍微改变下系数矩阵A，可以看到结果的变化也很大。换句话来说，这个系统的解对系数矩阵A或者b太敏感了。又因为一般我们的系数矩阵A和b是从实验数据里面估计得到的，所以它是存在误差的，如果我们的系统对这个误差是可以容忍的就还好，但系统对这个误差太敏感了，以至于我们的解的误差更大，那这个解就太不靠谱了。所以这个方程组系统就是ill-conditioned病态的，不正常的，不稳定的，有问题的，哈哈。这清楚了吧。右边那个就叫well-condition的系统了。
　　还是再啰嗦一下吧，对于一个ill-condition的系统，我的输入稍微改变下，输出就发生很大的改变，这不好啊，这表明我们的系统不能实用啊。你想想看，例如对于一个回归问题y=f(x)，我们是用训练样本x去训练模型f，使得y尽量输出我们期待的值，例如0。那假如我们遇到一个样本x&，这个样本和训练样本x差别很小，面对他，系统本应该输出和上面的y差不多的值的，例如0.00001，最后却给我输出了一个0.9999，这很明显不对呀。就好像，你很熟悉的一个人脸上长了个青春痘，你就不认识他了，那你大脑就太差劲了，哈哈。所以如果一个系统是ill-conditioned病态的，我们就会对它的结果产生怀疑。那到底要相信它多少呢？我们得找个标准来衡量吧，因为有些系统的病没那么重，它的结果还是可以相信的，不能一刀切吧。终于回来了，上面的condition number就是拿来衡量ill-condition系统的可信度的。condition number衡量的是输入发生微小变化的时候，输出会发生多大的变化。也就是系统对微小变化的敏感度。condition number值小的就是well-conditioned的，大的就是ill-conditioned的。
　　如果方阵A是非奇异的，那么A的conditionnumber定义为：
　　也就是矩阵A的norm乘以它的逆的norm。所以具体的值是多少，就要看你选择的norm是什么了。如果方阵A是奇异的，那么A的condition number就是正无穷大了。实际上，每一个可逆方阵都存在一个condition number。但如果要计算它，我们需要先知道这个方阵的norm（范数）和Machine Epsilon（机器的精度）。为什么要范数？范数就相当于衡量一个矩阵的大小，我们知道矩阵是没有大小的，当上面不是要衡量一个矩阵A或者向量b变化的时候，我们的解x变化的大小吗？所以肯定得要有一个东西来度量矩阵和向量的大小吧？对了，他就是范数，表示矩阵大小或者向量长度。OK，经过比较简单的证明，对于AX=b，我们可以得到以下的结论：
　　也就是我们的解x的相对变化和A或者b的相对变化是有像上面那样的关系的，其中k(A)的值就相当于倍率，看到了吗？相当于x变化的界。
　　对condition number来个一句话总结：conditionnumber是一个矩阵（或者它所描述的线性系统）的稳定性或者敏感度的度量，如果一个矩阵的condition number在1附近，那么它就是well-conditioned的，如果远大于1，那么它就是ill-conditioned的，如果一个系统是ill-conditioned的，它的输出结果就不要太相信了。
　　好了，对这么一个东西，已经说了好多了。对了，我们为什么聊到这个的了？回到第一句话：从优化或者数值计算的角度来说，L2范数有助于处理 condition number不好的情况下矩阵求逆很困难的问题。因为目标函数如果是二次的，对于线性回归来说，那实际上是有解析解的，求导并令导数等于零即可得到最优解为：
&　　　　　　　　　　　　　　　　　　　　　　　　　　（个人理解这是解析解，xw=y，不过用到了广义逆）
　　然而，如果当我们的样本X的数目比每个样本的维度还要小的时候，矩阵XTX将会不是满秩的，也就是XTX会变得不可逆，所以w*就没办法直接计算出来了。或者更确切地说，将会有无穷多个解（因为我们方程组的个数小于未知数的个数）。也就是说，我们的数据不足以确定一个解，如果我们从所有可行解里随机选一个的话，很可能并不是真正好的解，总而言之，我们过拟合了。
　　但如果加上L2规则项，就变成了下面这种情况，就可以直接求逆了：
　　&这里面，专业点的描述是：要得到这个解，我们通常并不直接求矩阵的逆，而是通过解线性方程组的方式（例如高斯消元法）来计算。考虑没有规则项的时候，也就是&=0的情况，如果矩阵XTX的 condition number 很大的话，解线性方程组就会在数值上相当不稳定，而这个规则项的引入则可以改善condition number。
&&　　另外，如果使用迭代优化的算法，condition number 太大仍然会导致问题：它会拖慢迭代的收敛速度，而规则项从优化的角度来看，实际上是将目标函数变成&-strongly convex（&强凸）的了。哎哟哟，这里又出现个&强凸，啥叫&强凸呢？
　　当f满足：
　　时，我们称f为&-stronglyconvex函数，其中参数&&0。当&=0时退回到普通convex 函数的定义。
　　在直观的说明强凸之前，我们先看看普通的凸是怎样的。假设我们让f在x的地方做一阶泰勒近似（一阶泰勒展开忘了吗？f(x)=f(a)+f'(a)(x-a)+o(||x-a||).）：
　　直观来讲，convex 性质是指函数曲线位于该点处的切线，也就是线性近似之上，而 strongly convex 则进一步要求位于该处的一个二次函数上方，也就是说要求函数不要太&平坦&而是可以保证有一定的&向上弯曲&的趋势。专业点说，就是convex 可以保证函数在任意一点都处于它的一阶泰勒函数之上，而strongly convex可以保证函数在任意一点都存在一个非常漂亮的二次下界quadratic lower bound。当然这是一个很强的假设，但是同时也是非常重要的假设。可能还不好理解，那我们画个图来形象的理解下。
　　大家一看到上面这个图就全明白了吧。不用我啰嗦了吧。还是啰嗦一下吧。我们取我们的最优解w*的地方。如果我们的函数f(w)，见左图，也就是红色那个函数，都会位于蓝色虚线的那根二次函数之上，这样就算wt和w*离的比较近的时候，f(wt)和f(w*)的值差别还是挺大的，也就是会保证在我们的最优解w*附近的时候，还存在较大的梯度值，这样我们才可以在比较少的迭代次数内达到w*。但对于右图，红色的函数f(w)只约束在一个线性的蓝色虚线之上，假设是如右图的很不幸的情况（非常平坦），那在wt还离我们的最优点w*很远的时候，我们的近似梯度(f(wt)-f(w*))/(wt-w*)就已经非常小了，在wt处的近似梯度&f/&w就更小了，这样通过梯度下降wt+1=wt-&*(&f/&w)，我们得到的结果就是w的变化非常缓慢，像蜗牛一样，非常缓慢的向我们的最优点w*爬动，那在有限的迭代时间内，它离我们的最优点还是很远。
&　　&所以仅仅靠convex 性质并不能保证在梯度下降和有限的迭代次数的情况下得到的点w会是一个比较好的全局最小点w*的近似点（插个话，有地方说，实际上让迭代在接近最优的地方停止，也是一种规则化或者提高泛化性能的方法）。正如上面分析的那样，如果f(w)在全局最小点w*周围是非常平坦的情况的话，我们有可能会找到一个很远的点。但如果我们有&强凸&的话，就能对情况做一些控制，我们就可以得到一个更好的近似解。至于有多好嘛，这里面有一个bound，这个 bound 的好坏也要取决于strongly convex性质中的常数&的大小。看到这里，不知道大家学聪明了没有。如果要获得strongly convex怎么做？最简单的就是往里面加入一项(&/2)*||w||2。
& & & &呃，讲个strongly convex花了那么多的篇幅。实际上，在梯度下降中，目标函数收敛速率的上界实际上是和矩阵XTX的 condition number有关，XTX的 condition number 越小，上界就越小，也就是收敛速度会越快。
　　这一个优化说了那么多的东西。还是来个一句话总结吧：L2范数不但可以防止过拟合，还可以让我们的优化求解变得稳定和快速。
& & & &好了，这里兑现上面的承诺，来直观的聊聊L1和L2的差别，为什么一个让绝对值最小，一个让平方最小，会有那么大的差别呢？我看到的有两种几何上直观的解析：
　　1）下降速度：
& & & &我们知道，L1和L2都是规则化的方式，我们将权值参数以L1或者L2的方式放到代价函数里面去。然后模型就会尝试去最小化这些权值参数。而这个最小化就像一个下坡的过程，L1和L2的差别就在于这个&坡&不同，如下图：L1就是按绝对值函数的&坡&下降的，而L2是按二次函数的&坡&下降。所以实际上在0附近，L1的下降速度比L2的下降速度要快。所以会非常快得降到0。不过我觉得这里解释的不太中肯，当然了也不知道是不是自己理解的问题。
　　2）模型空间的限制：
& & & &实际上，对于L1和L2规则化的代价函数来说，我们可以写成以下形式：
& & & &也就是说，我们将模型空间限制在w的一个L1-ball 中。为了便于可视化，我们考虑两维的情况，在(w1, w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个 norm ball 。等高线与 norm ball 首次相交的地方就是最优解：
& & & &可以看到，L1-ball 与L2-ball 的不同就在于L1在和每个坐标轴相交的地方都有&角&出现，而目标函数的测地线除非位置摆得非常好，大部分时候都会在角的地方相交。注意到在角的位置就会产生稀疏性，例如图中的相交点就有w1=0，而更高维的时候（想象一下三维的L1-ball 是什么样的？）除了角点以外，还有很多边的轮廓也是既有很大的概率成为第一次相交的地方，又会产生稀疏性。
& & & &相比之下，L2-ball 就没有这样的性质，因为没有角，所以第一次相交的地方出现在具有稀疏性的位置的概率就变得非常小了。这就从直观上来解释了为什么L1-regularization 能产生稀疏性，而L2-regularization 不行的原因了。
& & & &因此，一句话总结就是：L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。Lasso在特征选择时候非常有用，而Ridge就只是一种规则化而已。
四、核范数
　　核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点。那它是干嘛用的呢？霸气登场：约束Low-Rank（低秩）。OK，OK，那我们得知道Low-Rank是啥？用来干啥的？
　　对上面的线性方程组，第一个方程和第二个方程有不同的解，而第2个方程和第3个方程的解完全相同。从这个意义上说，第3个方程是&多余&的，因为它没有带来任何的信息量，把它去掉，所得的方程组与原来的方程组同解。为了从方程组中去掉多余的方程，自然就导出了&矩阵的秩&这一概念。
&　　还记得我们怎么手工求矩阵的秩吗？为了求矩阵A的秩，我们是通过矩阵初等变换把A化为阶梯型矩阵，若该阶梯型矩阵有r个非零行，那A的秩rank(A)就等于r。从物理意义上讲，矩阵的秩度量的就是矩阵的行列之间的相关性。如果矩阵的各行或列是线性无关的，矩阵就是满秩的，也就是秩等于行数。回到上面线性方程组来说吧，因为线性方程组可以用矩阵描述嘛。秩就表示了有多少个有用的方程了。上面的方程组有3个方程，实际上只有2个是有用的，一个是多余的，所以对应的矩阵的秩就是2了。
&　　OK。既然秩可以度量相关性，而矩阵的相关性实际上有带有了矩阵的结构信息。如果矩阵之间各行的相关性很强，那么就表示这个矩阵实际可以投影到更低维的线性子空间，也就是用几个向量就可以完全表达了，它就是低秩的。所以我们总结的一点就是：如果矩阵表达的是结构性信息，例如图像、用户-推荐表等等，那么这个矩阵各行之间存在这一定的相关性，那这个矩阵一般就是低秩的。
　　如果X是一个m行n列的数值矩阵，rank(X)是X的秩，假如rank (X)远小于m和n，则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出，可见它包含大量的冗余信息。利用这种冗余信息，可以对缺失数据进行恢复，也可以对数据进行特征提取。
好了，低秩有了，那约束低秩只是约束rank(w)呀，和我们这节的核范数有什么关系呢？他们的关系和L0与L1的关系一样。因为rank()是非凸的，在优化问题里面很难求解，那么就需要寻找它的凸近似来近似它了。对，你没猜错，rank(w)的凸近似就是核范数||W||*。
& & & &好了，到这里，我也没什么好说的了，因为我也是稍微翻看了下这个东西，所以也还没有深入去看它。但我发现了这玩意还有很多很有意思的应用，下面我们举几个典型的吧。
　　1）矩阵填充(Matrix Completion)：
& & & &我们首先说说矩阵填充用在哪。一个主流的应用是在推荐系统里面。我们知道，推荐系统有一种方法是通过分析用户的历史记录来给用户推荐的。例如我们在看一部电影的时候，如果喜欢看，就会给它打个分，例如3颗星。然后系统，例如Netflix等知名网站就会分析这些数据，看看到底每部影片的题材到底是怎样的？针对每个人，喜欢怎样的电影，然后会给对应的用户推荐相似题材的电影。但有一个问题是：我们的网站上面有非常多的用户，也有非常多的影片，不是所有的用户都看过说有的电影，不是所有看过某电影的用户都会给它评分。假设我们用一个&用户-影片&的矩阵来描述这些记录，例如下图，可以看到，会有很多空白的地方。如果这些空白的地方存在，我们是很难对这个矩阵进行分析的，所以在分析之前，一般需要先对其进行补全。也叫矩阵填充。
& & & &那到底怎么填呢？如何才能无中生有呢？每个空白的地方的信息是否蕴含在其他已有的信息之上了呢？如果有，怎么提取出来呢？Yeah，这就是低秩生效的地方了。这叫低秩矩阵重构问题，它可以用如下的模型表述：已知数据是一个给定的m*n矩阵A，如果其中一些元素因为某种原因丢失了，我们能否根据其他行和列的元素，将这些元素恢复？当然，如果没有其他的参考条件，想要确定这些数据很困难。但如果我们已知A的秩rank(A)&&m且rank(A)&&n，那么我们可以通过矩阵各行(列)之间的线性相关将丢失的元素求出。你会问，这种假定我们要恢复的矩阵是低秩的，合理吗？实际上是十分合理的，比如一个用户对某电影评分是其他用户对这部电影评分的线性组合。所以，通过低秩重构就可以预测用户对其未评价过的视频的喜好程度。从而对矩阵进行填充。
　　2）鲁棒PCA：
& & & &主成分分析，这种方法可以有效的找出数据中最&主要"的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。我们知道，最简单的主成分分析方法就是PCA了。从线性代数的角度看，PCA的目标就是使用另一组基去重新描述得到的数据空间。希望在这组新的基下，能尽量揭示原有的数据间的关系。这个维度即最重要的&主元"。PCA的目标就是找到这样的&主元&，最大程度的去除冗余和噪音的干扰。
& & & &鲁棒主成分分析（Robust PCA）考虑的是这样一个问题：一般我们的数据矩阵X会包含结构信息，也包含噪声。那么我们可以将这个矩阵分解为两个矩阵相加，一个是低秩的（由于内部有一定的结构信息，造成各行或列间是线性相关的），另一个是稀疏的（由于含有噪声，而噪声是稀疏的），则鲁棒主成分分析可以写成以下的优化问题：
& & & &与经典PCA问题一样，鲁棒PCA本质上也是寻找数据在低维空间上的最佳投影问题。对于低秩数据观测矩阵X，假如X受到随机（稀疏）噪声的影响，则X的低秩性就会破坏，使X变成满秩的。所以我们就需要将X分解成包含其真实结构的低秩矩阵和稀疏噪声矩阵之和。找到了低秩矩阵，实际上就找到了数据的本质低维空间。那有了PCA，为什么还有这个Robust PCA呢？Robust在哪？因为PCA假设我们的数据的噪声是高斯的，对于大的噪声或者严重的离群点，PCA会被它影响，导致无法正常工作。而Robust PCA则不存在这个假设。它只是假设它的噪声是稀疏的，而不管噪声的强弱如何。
　　由于rank和L0范数在优化上存在非凸和非光滑特性，所以我们一般将它转换成求解以下一个松弛的凸优化问题：
& & & &说个应用吧。考虑同一副人脸的多幅图像，如果将每一副人脸图像看成是一个行向量，并将这些向量组成一个矩阵的话，那么可以肯定，理论上，这个矩阵应当是低秩的。但是，由于在实际操作中，每幅图像会受到一定程度的影响，例如遮挡，噪声，光照变化，平移等。这些干扰因素的作用可以看做是一个噪声矩阵的作用。所以我们可以把我们的同一个人脸的多个不同情况下的图片各自拉长一列，然后摆成一个矩阵，对这个矩阵进行低秩和稀疏的分解，就可以得到干净的人脸图像（低秩矩阵）和噪声的矩阵了（稀疏矩阵），例如光照，遮挡等等。至于这个的用途，你懂得。
　　3）背景建模：
& & & &背景建模的最简单情形是从固定摄相机拍摄的视频中分离背景和前景。我们将视频图像序列的每一帧图像像素值拉成一个列向量，那么多个帧也就是多个列向量就组成了一个观测矩阵。由于背景比较稳定，图像序列帧与帧之间具有极大的相似性，所以仅由背景像素组成的矩阵具有低秩特性；同时由于前景是移动的物体，占据像素比例较低，故前景像素组成的矩阵具有稀疏特性。视频观测矩阵就是这两种特性矩阵的叠加，因此，可以说视频背景建模实现的过程就是低秩矩阵恢复的过程。
　　4）变换不变低秩纹理（TILT）：
& & & &以上章节所介绍的针对图像的低秩逼近算法，仅仅考虑图像样本之间像素的相似性，却没有考虑到图像作为二维的像素集合，其本身所具有的规律性。事实上，对于未加旋转的图像，由于图像的对称性与自相似性，我们可以将其看做是一个带噪声的低秩矩阵。当图像由端正发生旋转时，图像的对称性和规律性就会被破坏，也就是说各行像素间的线性相关性被破坏，因此矩阵的秩就会增加。
& & & &低秩纹理映射算法(TransformInvariant Low-rank Textures，TILT)是一种用低秩性与噪声的稀疏性进行低秩纹理恢复的算法。它的思想是通过几何变换&把D所代表的图像区域校正成正则的区域，如具有横平竖直、对称等特性，这些特性可以通过低秩性来进行刻画。
& & & &低秩的应用非常多，大家有兴趣的可以去找些资料深入了解下。
五、规则化参数的选择
& & & &现在我们回过头来看看我们的目标函数：
& & & &里面除了loss和规则项两块外，还有一个参数&。它也有个霸气的名字，叫hyper-parameters（超参）。你不要看它势单力薄的，它非常重要。它的取值很大时候会决定我们的模型的性能，事关模型生死。它主要是平衡loss和规则项这两项的，&越大，就表示规则项要比模型训练误差更重要，也就是相比于要模型拟合我们的数据，我们更希望我们的模型能满足我们约束的&O(w)的特性。反之亦然。举个极端情况，例如&=0时，就没有后面那一项，代价函数的最小化全部取决于第一项，也就是集全力使得输出和期待输出差别最小，那什么时候差别最小啊，当然是我们的函数或者曲线可以经过所有的点了，这时候误差就接近0，也就是过拟合了。它可以复杂的代表或者记忆所有这些样本，但对于一个新来的样本泛化能力就不行了。毕竟新的样本会和训练样本有差别的嘛。
& & & &那我们真正需要什么呢？我们希望我们的模型既可以拟合我们的数据，又具有我们约束它的特性。只有它们两者的完美结合，才能让我们的模型在我们的任务上发挥强大的性能。所以如何讨好它，是非常重要。在这点上，大家可能深有体会。还记得你复现了很多论文，然后复现出来的代码跑出来的准确率没有论文说的那么高，甚至还差之万里。这时候，你就会怀疑，到底是论文的问题，还是你实现的问题？实际上，除了这两个问题，我们还需要深入思考另一个问题：论文提出的模型是否具有hyper-parameters？论文给出了它们的实验取值了吗？经验取值还是经过交叉验证的取值？这个问题是逃不掉的，因为几乎任何一个问题或者模型都会具有hyper-parameters，只是有时候它是隐藏着的，你看不到而已，但一旦你发现了，证明你俩有缘，那请试着去修改下它吧，有可能有&奇迹&发生哦。
& & & &OK，回到问题本身。我们选择参数&的目标是什么？我们希望模型的训练误差和泛化能力都很强。这时候，你有可能还反映过来，这不是说我们的泛化性能是我们的参数&的函数吗？那我们为什么按优化那一套，选择能最大化泛化性能的&呢？Oh，sorry to tell you that，因为泛化性能并不是&的简单的函数！它具有很多的局部最大值！而且它的搜索空间很大。所以大家确定参数的时候，一是尝试很多的经验值，这和那些在这个领域摸爬打滚的大师是没得比的。当然了，对于某些模型，大师们也整理了些调参经验给我们。例如Hinton大哥的那篇A Practical Guide to Training RestrictedBoltzmann Machines等等。还有一种方法是通过分析我们的模型来选择。怎么做呢？就是在训练之前，我们大概计算下这时候的loss项的值是多少？&O(w)的值是多少？然后针对他们的比例来确定我们的&，这种启发式的方法会缩小我们的搜索空间。另外一种最常见的方法就是交叉验证Cross validation了。先把我们的训练数据库分成几份，然后取一部分做训练集，一部分做测试集，然后选择不同的&用这个训练集来训练N个模型，然后用这个测试集来测试我们的模型，取N模型里面的测试误差最小对应的&来作为我们最终的&。如果我们的模型一次训练时间就很长了，那么很明显在有限的时间内，我们只能测试非常少的&。例如假设我们的模型需要训练1天，这在深度学习里面是家常便饭了，然后我们有一个星期，那我们只能测试7个不同的&。这就让你遇到最好的&那是上辈子积下来的福气了。那有什么方法呢？两种：一是尽量测试7个比较靠谱的&，或者说&的搜索空间我们尽量广点，所以一般对&的搜索空间的选择一般就是2的多少次方了，从-10到10啊什么的。但这种方法还是不大靠谱，最好的方法还是尽量让我们的模型训练的时间减少。例如假设我们优化了我们的模型训练，使得我们的训练时间减少到2个小时。那么一个星期我们就可以对模型训练7*24/2=84次，也就是说，我们可以在84个&里面寻找最好的&。这让你遇见最好的&的概率就大多了吧。这就是为什么我们要选择优化也就是收敛速度快的算法，为什么要用GPU、多核、集群等来进行模型训练、为什么具有强大计算机资源的工业界能做很多学术界也做不了的事情（当然了，大数据也是一个原因）的原因了。
& & & &努力做个&调参&高手吧！祝愿大家都能&调得一手好参&！
六、补充知识
　　矩阵A的条件数等于A的范数与A的逆的范数的乘积，即cond(A)=‖A‖&‖A^(-1)‖，对应矩阵的3种范数，相应地可以定义3种条件数。 　　函数 cond(A,1)、cond(A)或cond(A inf) 是判断矩阵病态与否的一种度量，条件数越大矩阵越病态。条件数事实上表示了矩阵计算对于误差的敏感性。对于线性方程组Ax=b，如果A的条件数大，b的微小改变就能引起解x较大的改变，数值稳定性差。如果A的条件数小，b有微小的改变，x的改变也很微小，数值稳定性好。它也可以表示b不变，而A有微小改变时，x的变化情况。比如线性方程组
　　的解是(x,y)=(0.0,0.1),
的解是(x,y)=(-0.17,0.22)，可见b很小的扰动就引起了x很大的变化，这就是A矩阵条件数大的表现。
　　一个极端的例子，当A奇异时，条件数为无穷，这时即使不改变b，x也可以改变。奇异的本质原因在于矩阵有0特征值，x在对应特征向量的方向上运动不改变Ax的值。如果一个特征值比其它特征值在数量级上小很多，x在对应特征向量方向上很大的移动才能产生b微小的变化，这就解释了为什么这个矩阵为什么会有大的条件数，事实上，正规阵在二范数下的条件数就可以表示成 abs(最大特征值/最小特征值)。
七、参考文献
　　http://www.cnblogs.com/TenosDoIt/p/3708996.html?utm_source=tuicool&utm_medium=referral
　　http://fastml.com/large-scale-l1-feature-selection-with-vowpal-wabbit/
　　http://www.stat.purdue.edu/~vishy/introml/notes/Optimization.pdf
　　http://www.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf
　　http://nm.mathforcollege.com/mws/gen/04sle/mws_gen_sle_spe_adequacy.pdf
阅读(...) 评论()