最新谷歌董事长：我可以非常直接地说，互联网将很快消失！
最新谷歌董事长：我可以非常直接地说，互联网将很快消失！
全球人工智能GAI
&&&&&&欢迎投稿：&&&&&&文章来源：澎湃新闻 金融圈当互联网概念在中国资本市场上方兴未艾之时，互联网巨头谷歌公司的执行董事长埃里克施密特在前段时间举行的座谈会上大胆预言：互联网即将消失，一个高度个性化、互动化的有趣世界——物联网即将诞生。施密特的此番言论可谓自我颠覆。他说：“我可以非常直接地说，互联网将消失。”1互联网即将消失，物联网将无所不能施密特称，未来将有数量巨大的IP地址、传感器、可穿戴设备，以及虽感觉不到却可与之互动的东西，时时刻刻伴随你。“设想下你走入房间，房间会随之变化，有了你的允许和所有这些东西，你将与房间里发生的一切进行互动。”他表示，这种变化对科技公司而言是前所未有的机会，“世界将变得非常个性化、非常互动化和非常非常有趣”。这位谷歌掌门人认为：“所有赌注此刻都与智能手机应用基础架构有关，似乎将出现全新的竞争者为智能手机提供应用，智能手机已经成为超级电脑。我认为这是一个完全开放的市场。”美国市场研究公司Gartner预测：到2020年，物联网将带来每年300亿美元的市场利润，届时将会出现25亿个设备连接到物联网上，并将继续快速增长。由此带来的巨大市场潜力已经成为美国科技公司新的增长引擎，包括思科、AT&T、Axeda、亚马逊、苹果、通用电气、谷歌与IBM等在内的美国公司争相抢占在物联网产业的主导地位。2看高科技500强争相布局物联网在国际消费电子展(CES)上，物联网概念成为最大看点之一。智能家居、数字医疗、车联网等产品的推出，使得物联网技术真正服务于智能生活。“物联网不是趋势，它是现实。”三星电子总裁兼首席执行官尹富根(Yoon Boo-keun)在CES的演讲上，把物联网作为了三星重点业务方向。尹富根同时透露了三星技术支持物联网的时间表：2017年，所有三星电视将成为物联网设备;五年内所有三星硬件设备均将支持物联网。无独有偶，芯片巨头高通也在CES上披露了自己的物联网计划。高通总裁德雷克阿伯勒(DerekAberle)在CES上表示，高通向全球超过30个国家推出了15款物联网设备，涉及数字眼镜、儿童跟踪器、智能手表等多个产品。未来，高通将以智能手机为支点，拓展车联网、医疗、可穿戴设备等领域。制造业巨头也希望在物联网中确立自己的领导者地位。通用电气去年十月宣布与一众技术巨头结盟建立起物联网联盟。通用电气此举的目的是寻求各方对旗下Predix平台的支持。Predix软件旨在令各种物联网端点具备智能化。全球范围内的其他合作也正在展开。英特尔已携手美国圣何塞市，利用公司强项，进一步推动该市的“绿色视野(GreenVision)”计划。英特尔公司全球物联网业务开发销售总监Gregg Berkeley表示，英特尔目前正与二三十个全球合作伙伴，讨论如何利用英特尔的物联网技术建设智能城市，有些合作在亚洲，有些遍及欧洲。3物联网和互联网究竟有什么区别?作为互联网的延伸，物联网利用通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，而它对于信息端的云计算和实体段的相关传感设备的需求，使得产业内的联合成为未来必然趋势，也为实际应用的领域打开无限可能。在过去一年，云计算和大数据继续发酵，物联网也成为未来大趋势之一。很多网友对于物联网和互联网之间有何关系存在疑惑，让我们一起来看看。什么是互联网?即Internet，又称网际网路，因特网等，是网络和网络之间串联而成的庞大网络。而物联网是的英文缩写是The Internet of things，也即物物相连的网络。物联网的定义是通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。简单地说，物联网是一种建立在互联网上的泛在网络。物联网技术的重要基础和核心仍旧是互联网，通过各种有线和无线网络与互联网融合，将物体的信息实时准确地传递出去。4物联网是一个新的江湖，一个比互联网大太多太多的江湖互联网在20多年来帮助人们解决了信息共享、交互，几乎在瞬间颠覆了很多传统的商业模式，把卖产品变为卖内容和服务，是个了不起的产业成就。雷军很早前曾说过：“未来没有所谓的互联网企业，未来每个公司都变成物联网公司。”这个江湖够大了吧。但从分工上理解，互联网还只是物联网中的一部分，主要是IT服务方面。物联网因为其“连接一切”的特点(“连接一切”是马化腾在2013的WE大会上提出来的未来第一路标)，它具有很多互联网所没有的新特性。比如，互联网已经连接了所有的人和信息内容，提供标准化服务，而物联网则要考虑各种各样的硬件融合，多种场景的应用，人们的习惯差异等问题。相对于互联网，物联网需要更有深度的内容和服务，以及更加差异化的应用，也将更加的人性化，这也符合们不停地追求更好的服务体验，这是个亘古不变的刚需。因此，也可以这样断言，未来所有的公司都是物联网企业。他们享受着物联网的各种便利，利用物联网工具和技术，生产物联网产品，为人们提供物联网服务。5物联网的关键技术针对互联网的特性，专家总结了物联网应用中的三项关键技术：1.传感器技术这也是计算机应用中的关键技术。大家都知道，到目前为止绝大部分计算机处理的都是数字信号。自从有计算机以来就需要传感器把模拟信号转换成数字信号计算机才能处理。2.RFID标签也是一种传感器技术，RFID技术是融合了无线射频技术和嵌入式技术为一体的综合技术，RFID在自动识别、物品物流管理有着广阔的应用前景。3.嵌入式系统技术是综合了计算机软硬件、传感器技术、集成电路技术、电子应用技术为一体的复杂技术。经过几十年的演变，以嵌入式系统为特征的智能终端产品随处可见;小到人们身边的MP3，大到航天航空的卫星系统。嵌入式系统正在改变着人们的生活，推动着工业生产以及国防工业的发展。如果把物联网用人体做一个简单比喻，传感器相当于人的眼睛、鼻子、皮肤等感官，网络就是神经系统用来传递信息，嵌入式系统则是人的大脑，在接收到信息后要进行分类处理。这个例子很形象的描述了传感器、嵌入式系统在物联网中的位置与作用。总之，我们可以发现物联网概念是在互联网概念的基础上，将其用户端延伸和扩展到任何物品与任何物品之间，进行信息交换和通信的一种网络概念。物联网和物联网概念的关系也是相互依存的关系。附：物联网产业链全景图（收藏）物联网发展的当务之急是先联网，再谈增值应用。一、巨头入局，行胜于言英特尔：2014年发布爱迪生(Edison）可穿戴及物联网设备的微型系统级芯片，2015年推出居里(Curie)芯片，集成了低功耗蓝牙通信能和运动传感器；谷歌：提出Project IoT物联网计划，2015年发布Brillo物联网底层操作系统，该系统源于Android，支持ARM、X86、MIPS架构的智能硬件；思科：2016年斥资14亿美元收购Jasper全部股权，完善物联网生态体系；软银：拟310亿美元收购芯片专利授权巨头ARM，卡位物联网芯片端；华为：推动NB-IoT标准制定；先后发布物联网操作系统LiteOS、NB-IoT端到解决方案，提出“1+2+1”战略，努力构建OceanConnect生态圈；百度：2015年发布百度IoT，与ARM、MTK、TI、科通芯城等联合推动物网发展；阿里巴巴：2016年发布物联网整体战略，集合旗下阿里云、阿里智能、YunOS，联合打造面向物联网时代的服务平台；2014年还联合庆科发布物联网操作系统MICO；腾讯：2014年推出“QQ物联智能硬件开放平台”，将QQ账号体系及关链、QQ消息通道等核心能力提供给可穿戴设备、智能家居、智能车载、传统硬件等领域合作伙伴，实现用户与设备及设备与设备之间的互联互通互动；中国移动：成立物联网公司、车联网公司，搭建物联网专网、提供专号、建设物联网设备接入管理平台和物联网应用开发平台，大力推动物联网业务展。二、物联网产业链包含八大环节芯片提供商、传感器供应商、无线模组（含天线）厂商、网络运营商（含 SIM 卡商） 、平台服务商、系统及软件开发商、智能硬件厂商、系统集成及应用服务提供商。三、物联网八大环节供应链如下1、物联网芯片供应商芯片是物联网的“大脑”，低功耗、高可靠性的半导体芯片是物联网几乎所有环节都必不可少的关键部件之一。依据芯片功能的不同，物联网产业中所需芯片既包括集成在传感器、无线模组中，实现特定功能的芯片，也包括嵌入在终端设备中，提供“大脑”功能的系统芯片——嵌入式微处理器，一般是MCU/SoC形式。传统的国际半体巨头，如ARM、英特尔、高通、联发科、飞思卡尔、德州仪器、意法半导体等。国内主要厂商包括：华为海思、展讯、北京君正、全志科技、北斗星通、通富微电、华天科技、力源信息、润欣科技等。国内而言，一些厂商从特定细分领域入手产品。国内而言，一些厂商从特定细分领域入手，包括芯片设计、制造、封测等，并逐步缩小与国外厂商的技术差距。2、传感器供应商：塑造物联网的“五官”传感器是物联网的“五官”，本质是一种检测装置，是用于采集各类信息并转换为特定信号的器件，可以采集身份标识、运动状态、地理位置、姿态、压力、温度、湿度、光线、声音、气味等信息。广义的传感器包括传统意义上的敏感元器件、RFID、条形、条形码、二维码、雷达、摄像头、读卡器、红外感应元件等。工程常用的传感器可分为物理类传感器、化学类传感器，生物类传感器三大类。而根据传感器的基本知功能可细分为热敏元件、光敏元件、气敏元件、力敏元件、磁敏元件、湿敏元件、声敏元件、放射线敏感元件、色敏元件和味敏元件十种。传感器行业由来已久，目前主要由美国、日本、德国的几家龙头公司主导，如博世、意法半导体、德州仪器、霍尼韦尔、飞思卡尔、英飞凌、飞利浦、楼氏电子等。我国传感器市场中约70%左右的份额被外资企业占据，我国本土企业市场份额较小，具有代表性的企业有汉威电子、歌尔股份、高德红外、耐威科技、华工科技、远望谷等。3、无线模组厂商：实现联网和定位的“关键”无线模组是物联网接入网络和定位的关键设备。无线模组可以分为通信模组和定位模组两大类。常见的局域网技术有WiFi、蓝牙、ZigBee等，常见的广域网技术主要有工作于授权频段的2/3/4G、NB-IoT和非授权频段的LoRa、SigFox、等技术，不同的通信对应、不同的通信模组。NB-IoT、LoRa、SigFox属于低功耗广域网（LPWA）技术，具有覆盖广、成本低功耗小等特点，是专门针对物联网的应用场景开发的。此外，我们认为广义来看，与无线模组相关的还有智能终端天线，包括移动终端天线、GNSS定位天线等。目前，在无线模组方面，国外企业仍占据主导地位，包括Telit、Sierra Wireless等。目前，国内厂商也比较成熟，能够提供完整的产品及解决方案。包括模组厂商华为、中兴通讯、环旭电子、移远通信、芯讯通、中移物联网公司、上海庆科、利尔达、博鹏发，天线厂商信维通、硕贝德，北斗星通等。4、网络运营商：掌控物联网的“通道”网络是物联的通道，也是目前物联网产业链中最成熟的环节。广义上来讲，物联网的网络是指各种通信网与互联网形成的融合网络，包括蜂窝网、局域自组网、专网等，因此涉及到通信设备、通信网络（接入网、核心网业务）、SIM制造等。考虑到物联网很大程度上可以复用现有的电信运营商络（有线宽带网、2/3/4G移动网络等），同时国内基础电信运营商具有垄断特征，是目前国内物联网发展的最重要推动者，因此我们在这个环节将聚焦三大电信运营商和与之紧密相关、且会受益与之紧密相关、且会受益与之紧密相关、且会受益与之紧密相关、且会受益蜂窝物联网终端增长的SIM卡制造商身上，如东信和平、恒宝股份、天喻信息等。5、平台服务商：完善物联网物联网的“有效管理”6、系统及软件开发商：打造物联网的“动脉”目前，发布物联网操作系统的主要是一些IT巨头，如谷歌、微软、苹果、华为、阿里等。由于物联网目前仍处阶段，应用软件开发还处于起步阶段，主要集中在车联网、智能家居、终端安全等通用性较强的领域，如盛路通信、海尔、启明星辰等。7、智能硬件厂商：提供物联网的“终端承载”智能硬件是物联网的承载终端，是指集成了传感器件和通信功能，可接入物联网并实实现特定功能或服务的设备。如果按照面向的购买客户来划分，可分为To B和 To C类：To B类：包括表计类（智能水表、智能燃气表、智能电表、工业监控检测仪表等）、车载前装类（车机）、工业设备及公共服务监测设备等；To C类：主要指消费电子，如可穿戴设备、智能家居等。鉴于物联网极为丰富的应用场景，终端类型多，我们在此仅列举一些To B类、市场需求较大、且该类终端生产企业相对集中的厂商，如三川智慧、新天科技、汉威电子。8、系统集成及应用服务提供商：物联网应用落地的“实施者”热门文章推荐斯坦福CS231n:卷积神经网络视觉识别课程讲义独家｜面对人工智能，下个像柯洁一样哭泣的可能就是你！最新｜扎克伯格：如何在被抛弃和被否定中成就自己？震惊！kaggle禁止中国人参加zillow第二轮比赛！重磅｜揭秘AlphaGo2.0版本的技术设计和棋艺水平！重磅｜谁让英伟达一夜损失360亿？还留下一道思考题！重磅｜Google 扔下两枚核弹，炸掉无数独角兽数千亿美金！重磅｜振奋人心！图灵奖得主John Hopcroft教授加入北大！重磅｜英伟达疯狂冲击万亿市值！最大威胁来自Google！
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
全球人工智能GAI
百家号 最近更新：
简介: 全球最新的AI技术动态|实战|资源|及应用！
作者最新文章kaggle-zillows竞赛的变量分析 - 简书
kaggle-zillows竞赛的变量分析
最近做了kaggle网站的zillowst竞赛，也学到了不少。这次zillows给的文件有60个变量，各种各样比如泳池，壁炉，房间数等等，一眼看过去会晕死。所以如何处理变量也是比较费心思和时间的，下面小结一下自己的一点心得。
首先把train和test合并，然后将缺失值排序。
train&-merge.data.frame(train_2016,properties_2016,by="parcelid")
res&-sapply(train,function(x) sum(is.na(x)))
miss&-sort(res,decreasing=T)
按照缺失值排列，看出很多id是大量缺失的，果断的删掉一些不重要的id，比如hashottuborspa。train_left&-train_left[,names(train_left)!=c('hashottuborspa')]
查看数据的相关性从图中可以看出，很多变量本身是彼此联系的，比如跟tax有关的，跟pool有关的，跟sqfeet有关的。根据不同因素查看彼此关系。ie 看看几个tax变量之间的关系，用corrplot可视化tax&- data.frame(cbind(train_left$landtaxvaluedollarcnt,train_left$structuretaxvaluedollarcnt,train_left$taxvaluedollarcnt,train_left$taxamount))
corrplot(cor(tax, use="complete.obs"), type="lower"
这里的代码我写的不太好，一个个搜索再添加笨了点。应该可以用字符串tax找出相关变量，自动形成数据框。以后查下怎么写。
这里可以看出，taxamount和其他tax变量关系密切，从lm也可以做出类似分析，所以删去taxamount以免重复。类似的不再赘述。train_left&-train[,names(train)!=c('taxamount')]
线性分析补足变量的缺失值zillows文件集里，对于bedroom和bathroom的变量也很啰嗦，有好几个来来回回的，比如'calculatedbathnbr'这个和bathroom类似，被我嫌弃的删除。然后其他有点关系又没有重复的几个变量，可以用lm函数，看看之间的关系。比如这里fullbathcnt和bathroomcnt，p值超小，R的平方值很多，而且bathroomcnt几乎没有缺失，所以可以用线性方程的系数补足fullbathcnt的缺失值。
train_left$fullbathcnt[is.na(train_left$fullbathcnt)]&-(-0..970993*train_left$bathroomcnt[is.na(train_left$calculatedbathnbr)]
某些变量用平均数或中位数补值，比如这个楼层数，以1和2层的居多，两者的平均数是1.63（虽然在现实中不存在）。建成的年代用中位数补值。train_left$numberofstories[is.na(train_left$numberofstories)]&-1.63
train_left$yearbuilt[is.na(train_left$yearbuilt)]&-median(train_left$fullbath,na.rm=T)
以上这些办法，也可以利用mice包等自动插值函数，或者逐步回归等自动筛选，我这样做，是感觉自己比较能有主导性，知其然也知其所以然吧。
部分非实际数值的类型比如fips，就是66这种zillows内部代码，所以进行因子化分类。
train_left$propertylandusetypeid&-factor(train$propertylandusetypeid)
train_left$fips&-factor(train_left$fips)
对于有或无的设施，根据kaggle论坛经验，设为-1比设为1更有效果。
train_left$fireplaceflag[is.na(train_left$fireplaceflag)]&-(-1)
train_left$fireplaceflag[!is.na(train_left$fireplaceflag)]&-1
日期也进行因子化。
train_left$transactiondate&-as.Date(train$transactiondate,format="%m%d%Y")
train_left$transactiondate&-as.factor(train_left$transactiondate)
......忙活了半天，终于可以开始运算了。自从xgb这个大杀器出来以后，大部分的参与者都是用了这个算法，当然调参各有千秋。我在这方面大概还算是个小白。
另外影响成绩的，还有房屋地点和交易时间的分类，这步我还没有找到好的调整方法。另外zillows只公布了一年的数据，用来预测共六个月的数据有点立场不足。他们的对策也很搞，在截止前两周，会再发布新的日期数据。估计到时候大家又是一场手忙脚乱。
All in all, features的取舍和补值是数据分析中重要的一步，但不是最重要的一步。最近看kaggle上面巴黎银行的竞赛复盘，把其中的变量大胆的删掉了20多个，只留下13个变量，但是接下来，按照获奖者的思路，把某个变量（他怎么找到的？）与其他变量相结合，做出了magic feature的矩阵，然后用xgb运算后，也可以得到前30名。能力，时间，运气，缺一不可呀。
个人思路，供参考。
终身学习者。
我已委托“维权骑士”（）为我的文章进行维权行动| 时间排序
&p&1 kaggle的数据是现成， 实际工作中数据是要自己采集与清洗的。&/p&&p&2 kaggle为了排名， 只为了提高一点点准确率， 模型做的异常复杂，实际工作中，需要平衡准确率和运行效率的。 &/p&
1 kaggle的数据是现成， 实际工作中数据是要自己采集与清洗的。2 kaggle为了排名， 只为了提高一点点准确率， 模型做的异常复杂，实际工作中，需要平衡准确率和运行效率的。
先撸一台强大gpu的机器，cpu训练的精度和时长都让人绝望啊
先撸一台强大gpu的机器，cpu训练的精度和时长都让人绝望啊
&p&有谁有zillow在kaggle上的比赛数据？想弄来玩玩，现在下载不了了。&/p&&p&非常感谢：）&/p&
有谁有zillow在kaggle上的比赛数据？想弄来玩玩，现在下载不了了。非常感谢：）
kaggle太多奇技淫巧，练多了容易走火入魔
kaggle太多奇技淫巧，练多了容易走火入魔
&p&右键，选下载链接文件&/p&
右键，选下载链接文件
&p&其实你在换个角度想想，你就应该明白了。你其实都理解整个思路，就差一点点。两个思路本质上都没有问题。我们拿先用feature selection为例，如果先进行feature selection之后，再做cross validation发现差异很大，只能说明一个原因，你的features不是global的。都是一些局部特征。因此在数据集产生变化的时候，产生了较大偏差。你反过顺序来做，也是说明了同样的问题。所以归根到底，是你的降维效果不好。&/p&
其实你在换个角度想想，你就应该明白了。你其实都理解整个思路，就差一点点。两个思路本质上都没有问题。我们拿先用feature selection为例，如果先进行feature selection之后，再做cross validation发现差异很大，只能说明一个原因，你的features不是global…
一块1070的路过，现在正在参加那个cdiscount的图片分类比赛，目前名次30%。最好10%。1080ti作为学习已经完全够用了，但是想拿前几名，想拿奖金还是有点难了。1000多万张图片，我的机器跑一轮下来一天多，别人只需要8小时。而且像resnet复杂一点的模型根本无法用，跑起来太慢了&br&
做深度学习，机器还是很重要的，炼丹过程中你会有很多想法，但是你尝试一个想法用一天还是几个小时时间还是很有区别的。你去尝试新想法的过程正是你经验积累的过程。有些东西需要真正做过一次才懂得
一块1070的路过，现在正在参加那个cdiscount的图片分类比赛，目前名次30%。最好10%。1080ti作为学习已经完全够用了，但是想拿前几名，想拿奖金还是有点难了。1000多万张图片，我的机器跑一轮下来一天多，别人只需要8小时。而且像resnet复杂一点的模型根本无…
&p&谢邀。&/p&&p&简历中的项目一定要是自己真正做过的，如果不是，相当于自己给自己挖坑&/p&
谢邀。简历中的项目一定要是自己真正做过的，如果不是，相当于自己给自己挖坑
&p&傻逼谷歌，没事xjb收购你女马啊，现在下个数据还得搭梯子，干&/p&
傻逼谷歌，没事xjb收购你女马啊，现在下个数据还得搭梯子，干
已有帐号？
无法登录？
社交帐号登录2015意甲回顾：米兰双雄夏窗砸重金
涨知识，原来蚯蚓钓鱼有那么多技巧
2015意甲回顾：尤文上海捧起超级杯
　　201...
钓鱼用“盐”会事半功倍，这是钓鱼大师说过的一句
2015意甲回顾：深圳上演米兰德比
　　2015...
这名男子冲浪时不幸遭鲨鱼袭击
　　大海一...678被浏览36471分享邀请回答51 条评论分享收藏感谢收起