请教CNN网络如何训练的问题【人工智能吧】_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：58,174贴子：
请教CNN网络如何训练的问题收藏
我是用下面这个大哥的理论自己写了一个CNN的代码差别是1. 激活函数用的是#define SIGMOID(x) (1/(1 + exp(x)))2.最后一层用的是SoftMax, 类似下面的代码void LogisticRegression::Softmax(double* x){
double _max = 0.0;
double _sum = 0.0;
for(int i = 0; i & m_iO ++i)
if(_max & x[i])
_max = x[i];
for(int i = 0; i & m_iO ++i)
x[i] = exp(x[i]-_max);
_sum += x[i];
for(int i = 0; i & m_iO ++i)
}}3.使用的是普通的BP算法对网络进行训练（包括最后的Softmax层）问题是使用MNIST训练不收敛，请问我使用的训练方法是否正确，谢谢ps：我自己试了一下，只用一个样本和标签训练能收敛，比如只训练第一个样本，几次训练之后能识别，但换一个样本就不行了。。。
百度众包可为您采集文字,图片,视频等多种类型数据.高效高质,获取训练数据好选择!作为人工智能或其他算法训练数据,为您构建有效数据模型提供有力数据支持!
训练类似这样Train(){while(get(new sample)){Forward();PrintResult();Backward();}}
迭代次数-目标函数 曲线呢
error = ½∑（t - o）²算完了，是一个递增的序列
但是我把第一层的6个featuremap打出来还是挺像样的。。。。
我用的BP训练公式
对不起刚才算error的代码有错误改了一下，画图出来是如下效果自始至终就是这个状态，保持在0.4XXX左右。。。。。训练了大概左右的样本
从新看了一下理论， 发现人家的训练与我上面写的BP算法有些不同，用下面的这个训练网络确实收敛了，请问BP的训练方法不止一个吗？请教大侠们
有挺多种的。你可以参考这篇论文 第十五页左右有一段还不错的解析：Many faster algorithms were proposed to speed up the convergence of the BPNN. They fall into two main categories. The first category uses heuristic techniques developed from an analysis of the performance of the standard steepest descent algorithm. The second category uses standard numerical optimization techniques. The first category includes the gradient descent with adaptive learning rate, gradient descent with momentum, gradient descent with momentum and adaptive learning rate, and the resilient algorithm. In the standard steepest descent, the learning rate is fixed and its optimal value is always hard to find. The heuristic techniques allow the optimal learning rate to adaptively change during the training process as the algorithm moves across the performance surface. Therefore, the performance could be improved. The second category includes conjugate gradient, quasi-Newton, and Levenberg-Marquardt (L- M) algorithm. 。。。。。
你这个CNN是做的手写字符体识别，还是人脸识别？
登录百度帐号推荐应用主要对CNN的基本网络结构及连接方式做了简单的介绍，还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习，在阅读本文之前，最好需要有以下方面的预备知识：
神经网络基础（网络结构，前向/后向传播方式，激活函数等）；
基础的最优化求解方法（梯度法，牛顿法等）；
机器学习基础
神经网络模型常用于处理有监督学习的问题，例如分类问题，CNN也不例外。模型需要一些有标注的数据进行训练，训练过程中主要涉及到网络的前向传播和反向传播计算，前向传播体现了特征信息的传递，而反向传播则是体现误差信息对模型参数的矫正。
CNN前向传播与普通的神经网络的前向传播过程一样。用 \( l \) 表示当前层，\( x^{l} \) 表示当前层的输出，\( W^{l} \) 和 \( b^{l} \) 分别表示当前层的权值和偏置，则前向传播可以用下面的公式表示：
$$ x^{l} = f\left( u^{l}\right), \ with \; u^{l} = W^{l}x^{l-1} + b^{l} $$
其中 \(f\left( \right)\) 函数为激活函数，可以选择sigmod或者tanh等函数。
对于卷积层，其前向传播如下图：
CNN反向传播代价函数代价函数（或损失函数）有较多形式，常用的有平方误差函数，交叉熵等。这里我们用平方误差函数作为代价函数，公式如下：
$$ E^{n} = \dfrac {1} {2}\sum _{k=1}^{c}\left( t_{k}^{n} - y_{k}^{n}\right) ^{2} = \dfrac {1} {2}||t^{n} - y^{n}||_{2}^{2}$$
以上公式描述了样本 \( n \) 的训练误差，其中 \( c \) 为输出层节点的个数（通常就是最终的分类类别数目），\( t \) 是训练样本的正确结果，\( y \) 是网络训练的输出结果。
BP反向传播基本的反向传播与BP神经网络类似，首先，简单回顾一下BP神经网络中的反向传播计算过程：
权值参数调整的方向如下公式：
$$ \Delta W^{l} = -\eta \dfrac {\partial E} {\partial W^{l}}, \ \ \dfrac {\partial E} {\partial W^{l}} = x^{l-1}(\delta ^{l})^{T} $$
其中，\( \eta \) 为学习率。
$$ \dfrac {\partial E} {\partial b} = \dfrac {\partial E} {\partial u} \dfrac {\partial u} {\partial b} = \dfrac {\partial E} {\partial u} = \delta $$
其中，\( \delta \) 称之为敏感度，也就是误差度。 \( \delta \)的计算方式如下：
$$ \delta ^{L} = f’(u^{L})\circ (y^{n} - t^{n}) $$
$$ \delta ^{l} = (W^{l+1})^{T}\circ f’(u^{l}) $$
其中，\( L \) 表示网络的最后一层，\( l \) 表示网络的其他层，\( \circ \) 表示点乘。 以上的两个公式反映了误差由网络的最后一层逐步向前传递的计算过程。
特殊的反向传播由于CNN中有不同类型的层级，并且层级之间的连接关系有可能是不确定的（如LeNet-5网络中S2层到C3层）。所以，有几个情形下的反向传播比较特别：
情况一：当前为Pooling层，前一层是卷积层；
情况二：当前为卷积层，前一层是Pooling层；
情况三：当前层与前一层的连接关系不确定（？尚不理解？）；
情况一：当前为Pooling层，前一层是卷积层
其中，Kronecker乘积的计算如下：
情况二：当前为卷积层，前一层是Pooling层
以上的矩阵1和矩阵2进行卷积操作时，需要将矩阵2先水平翻转，然后再垂直翻转；最后在矩阵1上进行卷积操作（和前向传播时类似）。
情况三：当前层与前一层的连接关系不确定个人理解，当前层与前一层的连接关系不确定时，反向传播与传统的BP算法类似，只不过更新的是局部连接的那些值。所以需要提前记录当前层的神经元与前一层的哪些元素是连接的。
本文结束，感谢欣赏。
欢迎转载，请注明本文的链接地址：
文章写得不错？打赏一个呗:)
近期博主准备筹建NLP方面的技术群，欢迎感兴趣的小伙伴加我入群交流:)，加好友请备注：”博客”。热巢首席算法工程师：实战文本分类，深度学习是最优算法吗？ - 知乎专栏
{"debug":false,"apiRoot":"","paySDK":"/api/js","wechatConfigAPI":"/api/wechat/jssdkconfig","name":"production","instance":"column","tokens":{"X-XSRF-TOKEN":null,"X-UDID":null,"Authorization":"oauth c3cef7c66aa9e6a1e3160e20"}}
{"database":{"Post":{"":{"contributes":[{"sourceColumn":{"lastUpdated":,"description":"数据驱动创意，让企业没有做不起的广告营销。","permission":"COLUMN_PUBLIC","memberId":59810,"contributePermission":"COLUMN_PUBLIC","translatedCommentPermission":"all","canManage":true,"intro":"大数据让创意营销更简单。热巢公众号：rechaos_com","urlToken":"hotnest","id":39693,"imagePath":"v2-6efc80c4cb73a.jpg","slug":"hotnest","applyReason":"0","name":"数据驱动创意 @热巢","title":"数据驱动创意 @热巢","url":"/hotnest","commentPermission":"COLUMN_ALL_CAN_COMMENT","canPost":true,"created":,"state":"COLUMN_NORMAL","followers":1,"avatar":{"id":"v2-6efc80c4cb73a","template":"/{id}_{size}.jpg"},"activateAuthorRequested":false,"following":false,"imageUrl":"/v2-6efc80c4cb73a_l.jpg","articlesCount":2},"state":"accepted","targetPost":{"titleImage":"/v2-7ec52bd21d2cb05eb91fbb69e27f4d99_r.png","lastUpdated":,"imagePath":"v2-7ec52bd21d2cb05eb91fbb69e27f4d99.png","permission":"ARTICLE_PUBLIC","topics":[,8630],"summary":"大数据时代，人们将越来越依赖数据做出决策。与此同时，信息与数据的数量也呈现指数型增长。能否帮助用户更便捷地从海量信息中提炼出有价值的数据，将成为衡量大数据公司是否具有竞争力的重要关键。 热巢是一支兼有极客与创客精神的团队。即日起，热巢的技…","copyPermission":"ARTICLE_COPYABLE","translatedCommentPermission":"all","likes":0,"origAuthorId":0,"publishedTime":"T07:57:56+08:00","sourceUrl":"","urlToken":,"id":3267224,"withContent":false,"slug":,"bigTitleImage":false,"title":"热巢首席算法工程师：实战文本分类，深度学习是最优算法吗？","url":"/p/","commentPermission":"ARTICLE_ALL_CAN_COMMENT","snapshotUrl":"","created":,"comments":0,"columnId":39693,"content":"","parentId":0,"state":"ARTICLE_PUBLISHED","imageUrl":"/v2-7ec52bd21d2cb05eb91fbb69e27f4d99_r.png","author":{"bio":"热巢，数据驱动下的广告策划B2B平台","isFollowing":false,"hash":"7e67e396cfcf60d5b8bb","uid":40,"isOrg":false,"slug":"shineg","isFollowed":false,"description":"科学，照亮黑暗的蜡烛","name":"南野秀翔","profileUrl":"/people/shineg","avatar":{"id":"v2-2dafcc3a087a3347360ebea3317b73ce","template":"/{id}_{size}.jpg"},"isOrgWhiteList":false},"memberId":59810,"excerptTitle":"","voteType":"ARTICLE_VOTE_CLEAR"},"id":706810}],"title":"热巢首席算法工程师：实战文本分类，深度学习是最优算法吗？","author":"shineg","content":"大数据时代，人们将越来越依赖数据做出决策。与此同时，信息与数据的数量也呈现指数型增长。能否帮助用户更便捷地从海量信息中提炼出有价值的数据，将成为衡量大数据公司是否具有竞争力的重要关键。热巢是一支兼有极客与创客精神的团队。即日起，热巢的技术研发团队将围绕数据与算法，陆续分享一系列前沿的技术实验与技术思想，并提出务实的解决之道。让我们一起来探索『数据驱动创意』吧！机器学习实验一：如何用机器学习处理文本分类？作者：高峰热巢首席算法工程师、中科院上海生命科学研究院博士什么是文本分类？文本分类 (Text classification) 指的是给定一篇文章，自动判断该文章所属的预先定义好的标签类别 (比如体育、娱乐或者新闻类别等)，是自然语言处理 (Natural language processing,NLP) 领域的主要研究方向之一 [1]。文本分类有着广阔的应用场景，比如垃圾邮件检测 (Spam email detection) 和评论情感分析 (Sentiment analysis) ，本质上都可以看做是具有两种标签类别的文本分类任务：垃圾邮件检测——判断邮件是否属于垃圾邮件和非垃圾邮件这两类；评论情感分析——判断评论是否属于正面邮件和负面评论这两类。每天，热巢的工程师都会分析上百万中国社交网络上的热门内容，热巢平台上的大量功能，背后都有机器学习处理文本分类的功劳。文本分类的技术发展历史对文本分类的研究可以追溯到二十世纪五十年代，当时主要依据特定的人工规则进行文本分类。到二十世纪九十年代，统计机器学习 (Statistical machine learning) 成为主流，一些统计机器学习方法，比如支持向量机 (Support vector machine, SVM) [2] 和朴素贝叶斯 (Naive Bayes) [3] 等分类方法在文本分类中取得了非常高的分类准确率。然而，统计机器学习方法首先需要进行特征工程 (Feature engineering) 工作，该工作需要深入理解业务需求，并且非常耗时耗力。随着大数据量 (Big data) 和图形处理单元 (Graphics processing unit, GPU) 强计算力的支持，深度学习 (Deep learning) 近年来发展迅速，在计算机视觉 (Computer vision, CV)、语音识别 (Speech recognition) 和自然语言处理领域都有着广泛研究与应用 [4]。与统计机器学习方法相比，深度学习方法可以自动提取特征，使得人们将注意力更多地集中在数据和模型上。实战文本分类：CNN模型 VS fastText模型关于卷积神经网络（Convolutional neural network, CNN）卷积神经网络 (Convolutional neural network, CNN) [5] 是经典的深度学习模型之一，在大规模图像识别竞赛 (Large scale visual recognition challenge, ILSVRC) 中取得巨大成功。CNN模型的局部连接 (Local connectivity) 和权值共享 (Parameter sharing) 两大特性有效地提取了数据特征并降低了模型参数以加快模型训练。图1：Kim Yoon 提出的用于文本分类的CNN模型结构KimYoon [6] 首次提出将CNN模型应用在文本分类中(见图1)。在该模型中，第一步是词嵌入层 (Word embedding layer)，将每个词表示为固定长度的稠密的词向量 (关于词嵌入的理论部分，我们还会继续发文介绍)。第二步是卷积层 (Convolutionallayer)，采用不同大小的卷积核从上到下依次对词向量进行卷积操作。第三步是池化层 (Pooling layer)，采取的是最大池化 (Max-pooling) 操作。第四步是全连接层 (Fully connected layer, 包括了Dropout层)，对输出标签类别进行预测。关于fastText2016年8月份，Facebook开源了fastText工具，用于快速进行文本表示与文本分类任务 [7]。fastText的模型结构非常简单 (图2)，单个词或者ngram组合词的词向量取平均后代表该文本的向量，使用softmax函数预测文本所属各标签类别的概率，损失函数 (Loss function) 是真实标签类别与预测标签类别之间的负对数似然 (Negative log-likelihood)。与“深层”的CNN模型相比，fastText的模型结构是“浅层”的。图 2. fastText模型结构。x1, x2, …, xN 分别表示文本的N个ngram 特征开始实验接下来将分别使用CNN模型和fastText模型在公开数据集上进行文本分类，以分类准确度和模型训练耗时两个角度评估两个模型的表现。相对于图像和语音来说，文字已经是高度抽象的概念了，因此对文本分析并不需要太深的网络结构。在这里使用深度学习框架keras [8] 搭建了CNN模型，其结构为：词嵌入层-Dropout层-卷积层-Dropout层-池化层-全连接层-Dropout层-全连接层。在fastText 的官方GitHub上 [9] 下载并编译了fastText模型。实验所需公开测试数据来自搜狗实验室新闻数据完整版 [10]，包括了搜狐新闻2012年6月到7月期间国内、国际、体育、社会和娱乐等18个标签类别的新闻数据。在依次经过数据提取、中文分词、去停用词、过滤小于10个词的文本和文本去重一系列文本预处理操作后，选取其中汽车、财经、IT、健康、体育和娱乐6个标签类别，每个标签类别下随机打乱后选取15,000个样本作为训练数据集 (Training data)，3,000个样本作为测试数据集 (Testing data)，即实验使用的训练数据集大小为90,000，测试数据集大小为18,000。本实验在CentOS 平台运行，由于fastText模型训练不需要GPU加速，因此在训练CNN模型时也没有使用GPU。实验使用的相关软件以及版本分别是中文分词工具jieba (0.38) [11]， 词向量训练工具gensim (2.1) [12] 和CNN模型实现深度学习框架keras (2.0)。编程语言是 Python 2.7。实验结果经过一系列超参数 (Hyper-parameter) 调整后，在分类准确度方面，CNN模型迭代 (Epoch) 训练数据7次后，在测试数据集上的分类准确度为95.7 % (图3)。fastText模型在相同测试数据集上的分类准确度为 95.8 % (图4)。也就是说，在该测试数据集上，两个模型的分类准确度是基本一致的。图 3. CNN模型实验结果图 4. fastText模型实验结果在运行时间方面，fastText模型总共只需要27秒钟就可以完成模型的训练与预测 (图4)，而CNN模型完成相同的操作耗时2212秒 (图3)，也就是说fastText模型远远快于CNN模型。实验使用的标签类别和相应数据量并不是太大，在工业界业务需求中往往有成百上千个标签类别，fastText在更大规模的数据集上的优势更加明显 [7]。值得注意的是，fastText除了可以进行有监督学习的文本分类外，还可以进行无监督的词向量学习。有了词向量后，可以直观地查看语义相关词。比如，图5展示了与输入词“梁朝伟”最相关的词是：听风者。《听风者》是梁朝伟和周迅等在2012年主演的一部影片，由于训练数据是2012年采集的，因此词向量准确地捕捉到了两个词之间的相关关系。与输入词“奔驰”语义最相关的词是：宝马，可以想象2012年两个车系的竞品关系。实验讨论如前文所述，与图像和语音不同，人类的语言已经是高度抽象的概念了。对于文本分类任务来说，在良好的特征工程基础上，线性分类器也可以取得很好的效果 [7]。文本分类还是比较偏线性的任务，因此“浅层”的fastText模型就可以达到与“深层”的CNN模型相似的分类准确度。依此类推，为了解决业务需求，具体在选择算法模型时要充分理解任务属性，依据数据量大小和算法模型本身的优缺点选择合适的解决方案。除了将CNN模型应用在文本分类任务上之外，还可以将其他深度学习模型应用在文本分类上，比如循环神经网络 (Recurrent neural network, RNN) [13]，基于注意力 (Attention) 机制的递归神经网络 [14]，循环卷积神经网络 (Recurrent convolutional neural network, RCNN) [15] 等。由于在此实验中CNN模型已经取得了不错的结果，因此在这里没有尝试其他深度学习模型。目前深度学习已经分别在计算机视觉和语音识别领域取得了state-of-the-art的结果，近年来在自然语言处理领域有着广阔的研究。有趣的是，有人指出深度学习并不能很容易地应用在自然语言处理上 [16]。该文章指出神经网络适用于处理连续稠密的数据 (比如图像和语音)，而自然语言在单词/符号水平 (Word/symbol level) 上的并不是连续的，在概念/意义水平 (Concept/meaning level) 上才是连续的。神经网络在单词水平上进行分析会受限于训练数据集，模型训练完毕后泛化误差 (Generalization error) 较大。因此，不同的算法模型都有不同的优势和劣势，技术团队势必需要充分理解具体的业务需求后，才能提供最佳的技术解决方案并提升解决问题的效率。参考文献?[1] ?[2] Joachims T. Text categorization with support vector machines: Learning with many relevant features. Proceeding of the 10th European Conference on Machine Learning (ECML-98), 137-142, 1998?[3] Raschka S. Naive Bayes and Text Classification: Introduction and Theory, Ithaca, USA: Cornell University Library, 2014?[4] LeCun Y., Bengio Y., and Hinton G. Deep Learning. Nature, 521:436-444, 2015?[5] LeCun Y., Bottou L., Bengio Y., and Haffner P. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):, 1998?[6] Kim Y. Convolutional neural networks for sentence classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), , 2014?[7] Joulin A., Grave E., Bojanowski P., and Mikolov T. Bag of tricks for efficient text classification.?arXiv preprint arXiv:, 2016?[8] ?[9] ?[10] ?[11] ?[12] ?[13] Liu PF., Qiu XP., and Huang XJ. Recurrent neural network for text classification with multi-task learning. Proceedings of International Joint Conference on Artificial Intelligence, 2016?[14] Yang ZC., Yang DY., Dyer C., He XD., Smola A., and Hovy E. Hierarchical attention networks for document classification. Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016?[15] Lai SW., Xu LH., Liu K., and Zhao J. Recurrent convolutional neural networks for text classification. Twenty-Ninth AAAI Conference on Artificial Intelligence, 2015?[16] 关于热巢上海热巢网络科技有限公司（）由两位来自中德的LSE毕业生穆青及Fabian von Heimburg联合创办，致力于将大数据和媒体广告结合，目前正全力打造基于社交媒体大数据下的一体化广告B2B平台——超级广告策划师。该平台将连接上游品牌和下游广告，促进广告交易和创意分发更加智能和更具效率。热巢现已获得安持资本领投的千万级Pre-A轮融资。为表彰在广告与传媒领域取得的创新，穆青和Fabian von Heimburg当选为2017年福布斯30位30岁以下亚洲青年领袖（Forbes 30 Under 30 Asia）。","updated":"T23:57:56.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"collapsedCount":0,"likeCount":0,"state":"published","isLiked":false,"slug":"","isTitleImageFullScreen":false,"rating":"none","titleImage":"/v2-7ec52bd21d2cb05eb91fbb69e27f4d99_r.png","links":{"comments":"/api/posts//comments"},"reviewers":[],"topics":[{"url":"/topic/","id":"","name":"机器学习"},{"url":"/topic/","id":"","name":"深度学习（Deep Learning）"},{"url":"/topic/","id":"","name":"文本分类"}],"adminClosedComment":false,"titleImageSize":{"width":971,"height":540},"href":"/api/posts/","excerptTitle":"","column":{"slug":"hotnest","name":"数据驱动创意 @热巢"},"tipjarState":"inactivated","annotationAction":[],"sourceUrl":"","pageCommentsCount":0,"hasPublishingDraft":false,"snapshotUrl":"","publishedTime":"T07:57:56+08:00","url":"/p/","lastestLikers":[],"summary":"大数据时代，人们将越来越依赖数据做出决策。与此同时，信息与数据的数量也呈现指数型增长。能否帮助用户更便捷地从海量信息中提炼出有价值的数据，将成为衡量大数据公司是否具有竞争力的重要关键。 热巢是一支兼有极客与创客精神的团队。即日起，热巢的技…","reviewingCommentsCount":0,"meta":{"previous":{"isTitleImageFullScreen":false,"rating":"none","titleImage":"/v2-cfdbc7e2f2_r.jpg","links":{"comments":"/api/posts//comments"},"topics":[{"url":"/topic/","id":"","name":"用户画像"},{"url":"/topic/","id":"","name":"大数据"},{"url":"/topic/","id":"","name":"社交媒体营销"}],"adminClosedComment":false,"href":"/api/posts/","excerptTitle":"","author":{"bio":"热巢，数据驱动下的广告策划B2B平台","isFollowing":false,"hash":"7e67e396cfcf60d5b8bb","uid":40,"isOrg":false,"slug":"shineg","isFollowed":false,"description":"科学，照亮黑暗的蜡烛","name":"南野秀翔","profileUrl":"/people/shineg","avatar":{"id":"v2-2dafcc3a087a3347360ebea3317b73ce","template":"/{id}_{size}.jpg"},"isOrgWhiteList":false},"column":{"slug":"hotnest","name":"数据驱动创意 @热巢"},"content":"这几年，大家越来越重视『用户画像』。产品经理和市场营销人员为了提升用户体验，往往张口闭口谈『用户画像』，使用的方法也是五花八门。然而，『用户画像』的本质是一种数据思维，它从海量的用户特征和行为中提炼出通向营销目的的捷径，从而帮助品牌做出有效的营销决策、并提升转化。好的『用户画像』，一定不能脱离这些特征：它是基于用户的真实行为数据数据样本足够大、有大量历史数据量沉淀有科学的算法和模型，从数据中构建出可靠的画像不过在开始讲如何做『用户画像』之前，热巢小哥哥决定先讲一讲：为什么我们要做『用户画像』。为什么要做『用户画像』？看到这里，小哥哥知道肯定有人要不服气了——“我是老板，我当然知道我的产品卖点和我的用户需求～”“我干这行超过10年了，用户需要什么我还不知道吗？”——是的，往往就是这些经验蒙蔽了我们。在广告营销行业，经常有甲方认为好的产品卖点，在消费者看来不具有吸引力。因为“屁股决定脑袋”——位置决定想法的理论，品牌方和消费者经常不在同一个视角上对话。大家可以借这张图，感受一下这种错位（仅供娱乐）▼为了解决这个问题，于是我们经常会听到4A广告公司经常会念叨这个词：沟通。这里的“沟通”不仅仅是指乙方在服务甲方过程中的沟通，更重要的是帮助品牌从用户角度出发，制定与消费者开展有效沟通的营销方案。专业的沟通包括很多工作，4A们是怎么做的呢？各家都有绝活，但大致离不开这四大块：品牌的目标用户群体（TA）分析竞品分析媒介管理/渠道投放数据监测前两块是策略部门的工作，先确定了营销策略后再进行广告创意——注意，在这个服务流程框架下，几乎不会有创意先行的案例，因为创意往往是靠灵感和经验，而策略通常需要理性和准确，需要的是数据和分析。 这里再提供奥美公关数据分析总监王泽蕴公开过的一张图，是奥美做『用户画像』的方法： ▼她具体地介绍了TA分析的要点，包括：企业、品类、消费者，另外也是强调了竞争和渠道。一句话总结，品牌需要通过数据来量化定制『用户画像』，做到知己知彼，确保营销campaign能顺利达到预期目的。不是所有的『用户画像』都有用看到这里，有些人可能又要不服气了——“好好，你说的是有道理。但是现在数据太多了，我自己就有一堆销售数据，外面还有很多公司都声称都提供用户画像，这里面有差别吗？”——当然是有差别的。不是所有的 『用户画像』都对品牌有用。通过长期的交流和观察，可以列举三种很有代表性的“坑”。第一种是自拍脑袋，品牌主会balabala说“我的用户就是二三线城市，受过良好教育、处于收入上升期的30岁以下年轻人”。这么说有问题吗？看起来已经有“二三线城市”、“良好教育”、“30岁以下”这些标签了，但有两个问题：1是没有经过数据检验，2是数据不够准确、略显粗放。长期养成拍脑袋的习惯，可能会错失真实存在的市场机会。▼第二种是只看内部数据，不看外部数据。品牌主一般都对销售数据特别重视，比如统计报表能显示汽车用户的收入水平、驾驶习惯、驾驶里程，这部分数据只有品牌有，但这些数据能用做『用户画像』吗？不一定，有一个重要的认知概念叫“幸存者偏差”，这些老司机已经不需要你再去教育引导，他已经养成消费习惯来消费你的品牌了，从这部分群体勾勒出的画像，未必就是你的潜在用户群体。潜在用户是对相关产品感兴趣，但还没有产生消费行为的那部分人，也是营销要去影响、去争取转化的那群人，这时候光有内部的销售数据就不够了，一定要结合外部数据一起看。第三种是错把监测数据拿来用。现在一些第三方监测数据产品很多，有些品牌一听：哇是第三方耶，那数据应该会准一点了吧！——不是的，第三方数据并不一定就等于真实数据，而且第三方监测数据主要是用于监测广告投放后的效果。如果品牌是要做『用户画像』，那么用监测的数据结果来做参考，无异于本末倒置了；而且，鉴于第三方监测数据的真实性在行业内一直有争议，它在这个时候很有可能变成一个既做裁判又做守门员的不靠谱角色。那么问题来了，『用户画像』到底怎么做才靠谱？『用户画像』怎么做？在互联网尚不发达的年代，『用户画像』主要靠市场调查公司来完成。调查公司的身影，可能比你想象的还要活跃——走在街上，有没有被拦下来填写问卷：帅哥美女用什么化妆品？用什么手机？他们都是调查公司派来的。西方国家民主选举，不同党派发表竞职演说，也会有民调公司调查民意。调查问卷由专业人员设计问题，还要依据特定的统计要求来向人群发放回收问卷，最后通过SPSS/SAS等软件录入数据、统计分析出结果。除了问卷调查，还有一类形式是对典型用户进行长篇幅的访谈，像记者采访一样的对话。一般至少要提供30个人物访谈才有统计学意义。而现在，我们已经有更快、更有效率的方式来开展『用户画像』研究——即通过社交媒体，抓取并分析热点内容、参与热点互动的用户。之所以要重视社交媒体数据，需要理解两个重要的发展背景：跨屏时代迎来巅峰，互联网/移动互联网广告花费持续增长，用户高度依赖、高频次使用移动终端进行跨媒体交互行为。社交及沟通应用领跑互联网，消费者购买决策越来越容易被社交媒体上的信息所左右，这为大数据分析消费行为并得出规律提供了新的发展机会。简单来说就是：传统市调——耗时、耗人力、成本高、样本数量有限，且存在受访者隐藏真实想法的可能。社交媒体大数据——符合用户沟通和线上行为习惯，无需人力、数据可自动全天候采集，数据量和分析维度更丰富、更客观、可信度更高 。热巢给某杀菌软膏做过一次线上调查，研究用户的使用习惯和使用场景。之前他们购买的市调报告大概只能勾勒出最简单的4、5个用户需求： ▼而通过热巢旗下的社交媒体大数据工具进行采集分析，以30天社交网络舆情的数据为样本，结果发现了更多新的市场机会和新的用户需求： ▼——这就是利用社交媒体外部数据的一大优势。让我们再来回顾一下开篇讲到的， 好的『用户画像』，一定不能脱离这些特征：它是基于用户的真实行为数据数据样本足够大、有大量历史数据量沉淀有科学的算法和模型，从数据中构建出可靠的画像现在就比较容易理解了。1.品牌做『用户画像』，最重要的是要知道我面对的目标消费人群是谁？他们平时喜欢做什么，讨论什么，对什么话题感兴趣——有了这些数据，才能帮助品牌更好地找到用户，卖出产品。由于社交媒体数据是用户主动分享、主动传播的，这些行为比来自其他网络渠道的数据——比如无意识的浏览点击动作，具有更强烈的动机和需求，更能反映用户真实的消费需求、情感态度及兴趣爱好。 2.相比传统的市场调研方法，社交媒体大数据的采集能力更强、可以以更低的成本沉淀更多的历史数据。3.许多公司都声称自己能提供多维度的『用户画像』，事实上互联网平台和电商平台都有自己的原始数据，他们能够提供的数据维度甚至多达上百个，然而面对这么多非结构化的数据标签，品牌真的有能力看懂吗？▼实施一场好的营销战役，除了要能够知道最基本的用户画像特征（包括：性别、年龄、城市、婚姻状况、学历状况……）和品牌关心的用户行为、兴趣爱好以外，还重要的就是要解读用户的心理。如同优秀的咨询和策略人员那样，在拥有了大量用户行为数据后，我们需要有专业能力去理解和洞察这些数据。对于提供数据服务的产品工具来说，这个优势必须通过科学的算法和模型来体现。譬如对于用户情感态度的分析，需要有自然语言处理(NLP)；对于预测，需要有回归算法和隐马尔可夫模型(HMM)；对于用户的人格分析，需要借鉴心理学上著名的大五类人格(The Big Five，也被称为OCEAN模型，含开放性openness,尽责性conscientiousness,外向性extraversion,随和性agreeableness,情绪稳定性neuroticism五项测量指标)模型来计算分析。▼随着数据量的积累，和机器学习自我训练时间的积累，未来的『用户画像』不仅能够提供针对已知数据给出分析报告，还能更准确地给出预测，真正为品牌实施实用有效的营销战役提供决策帮助，提升转化效果和效率。恭喜恭喜！看到这里，您已经完成了“数据驱动创意”的第一步，同时也完成了培养数据化思维的关键一步。 欢迎关注热巢知乎专栏和微信公众号：rechaos_com除了为品牌提供专业的数据服务，我们还为“创意死硬派”们搭建了 超级广告策划师平台，可以直接在线发布项目、对接专业的广告创意公司/个人。每周我们还有线下交流活动CG Talk，具体活动时间、地点和主题，请随时关注热巢公众号 ▼","state":"published","sourceUrl":"","pageCommentsCount":0,"canComment":false,"snapshotUrl":"","slug":,"publishedTime":"T15:42:58+08:00","url":"/p/","title":"好的营销，从做实用的『用户画像』开始","summary":"这几年，大家越来越重视『用户画像』。产品经理和市场营销人员为了提升用户体验，往往张口闭口谈『用户画像』，使用的方法也是五花八门。然而，『用户画像』的本质是一种数据思维，它从海量的用户特征和行为中提炼出通向营销目的的捷径，从而帮助品牌做出有…","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentPermission":"anyone","commentsCount":0,"likesCount":0},"next":null},"annotationDetail":null,"commentsCount":0,"likesCount":0,"FULLINFO":true}},"User":{"shineg":{"isFollowed":false,"name":"南野秀翔","headline":"科学，照亮黑暗的蜡烛","avatarUrl":"/v2-2dafcc3a087a3347360ebea3317b73ce_s.jpg","isFollowing":false,"type":"people","slug":"shineg","bio":"热巢，数据驱动下的广告策划B2B平台","hash":"7e67e396cfcf60d5b8bb","uid":40,"isOrg":false,"description":"科学，照亮黑暗的蜡烛","profileUrl":"/people/shineg","avatar":{"id":"v2-2dafcc3a087a3347360ebea3317b73ce","template":"/{id}_{size}.jpg"},"isOrgWhiteList":false,"badge":{"identity":null,"bestAnswerer":null}}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"next":{},"hotnest":{"following":false,"canManage":false,"href":"/api/columns/hotnest","name":"数据驱动创意 @热巢","creator":{"slug":"shineg"},"url":"/hotnest","slug":"hotnest","avatar":{"id":"v2-6efc80c4cb73a","template":"/{id}_{size}.jpg"}}},"columnPosts":{},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldAddVideo":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}