分布式发布个人订阅号发布消息消息系统都有哪些常用的

来源：蜘蛛抓取(WebSpider) 时间：2016-03-21 10:38 标签： 微信订阅号发布消息
Kafka - 分布式发布订阅消息系统 - 拨云剑
Kafka 分布式发布订阅消息系统
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Kafka 的相关文章 (找到 235 条结果)
Kafka Refer
/en-us/um/people/srikanth/netdb11/netdb11papers/netdb11-final12.pdf
- http://incubator.apache.org/kafka
:///sj433kkfzckd/kafka-bringing-reliable-stream-processing-to-a-cold-dark-world
- /blog/2011/08/kafka
- /sna/media/kafka_hadoop.pdf
- /kafka-dev/kafka/tree/master/clients , all kinds of clients of kafka
- 中文版的设计文档, http://www.oschina.net/transl ...
/fxjwind/archive//2969655.html
转自：http://www.oschina.net/translate/kafka-design
参与翻译(4人)：fbm, 飞翔的猴子, Khiyuan, nesteaa
感谢这些同志们的辛勤工作，翻译的真不错，目前见到的最好的Kafka中文文章
-------------------------------
我们为什么要搭建该系统
Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为 多家不同类型的公司 作为多种类型的数据管道（data
pipeline）和消息系统使用。
活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量（page view）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据（CPU、IO使用率、请求时间、服务日志等等数据)。运营数据的统计方法种类繁 ...
http://blog.csdn.net/derekjiang/article/details/9053863
终于可以写
的文章了，
的相关文章我已经做了索引，在我的博客中置顶了，大家可以方便的找到。从这一篇开始分布式消息系统的入门。
在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：
我想分析一下用户行为（
），以便我能设计出更好的广告位
我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。
有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操作效率低。
这个时候，我们就可以用到分布式消息系统了。虽然上面的描述更偏向于一个日志系统，但确实
在实际应用中被大量的用于日志系统。
首先我们要明白什么是消息系统，在
的定义 ...
http://my.oschina.net/ielts0909/blog/92972
本文转载自： Kafka设计理念浅
本文将从以下两个方面去尝试讲解Kafka的设计理念，主要参考文献在 这里 ：
Kafka设计背景及原因
Kafka的设计特色 Kafka设计背景及原因
Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal data)。活动流数据是指像page view、用户搜索关键词等等通过用户操作产生的数据，它的常见场景有时间线(time line)即新鲜事提醒、用户浏览量 搜索量排名等等。系统处理数据是服务器性能相关的数据，如CPU、负载、用户请求数等，它的应用场景多数是为后台服务，如在安全方面，可以监控到恶意攻击服务器的用户，从而做出相应措施，还有监控服务器性能，在其出现问题时即时报警等。
这两种数据都属于日志数据的范畴。常见的日志系统，如scribe等都是将这些数据收集起来，然后再通过线下批处理，如hadoop集群等，获取所需的结果。线下处理的频率一般不会太高，比如一个小时甚至一天一次，这是不适合做实时应用的，如timeline这种应用。现有的消息队列系统 ...
http://blog.csdn.net/yutianzuijin/article/details/8740290
我想分析一下用户行为（pageviews），以便我能设计出更好的广告位
我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。
有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操作效率低。
这个时候，我们就可以用到分布式消息系统了。虽然上面的描述更偏向于一个日志系统，但确实kafka在实际应用中被大量的用于日志系统。
首先我们要明白什么是消息系统，在kafka官网上对kafka的定义叫：A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以更准确的说kafka是一个消息订阅和发布的系统。publish-subscribe这个概念很重要，因为kafka的设计理念就可以从这里说起。
我们将消息的发布（publish）暂时称作producer，将消息的订阅（subscribe）表述为consumer，将中间的存储阵列称作br ...
/blog/1884280分布式信息资源发布订阅推荐模型研究_论文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
您可以上传图片描述问题
联系电话：
请填写真实有效的信息，以便工作人员联系您，我们为您严格保密。
分布式信息资源发布订阅推荐模型研究
||文档简介
中国最大最早的专业内容网站|
总评分0.0|
&&针​对​现​有​网​络​信​息​资​源​分​布​式​特​征​和​语​义​搜​索​的​要​求​,​提​出​一​种​应​用​发​布​／​订​阅​技​术​实​现​信​息​资​源​语​义​推​荐​模​型​。​资​源​以​消​息​方​式​发​布​到​分​布​式​模​型​系​统​中​,​用​户​的​个​性​化​要​求​通​过​订​阅​方​式​存​储​在​查​询​本​地​,​实​现​将​用​户​被​动​搜​索​信​息​变​为​系​统​主​动​推​荐​个​性​化​的​信​息​服​务​的​转​变​,​同​时​应​用​语​义​W​e​b​技​术​实​现​基​于​内​容​的​信​息​匹​配​。​该​系​统​模​型​改​变​了​现​有​基​于​网​页​搜​索​信​息​资​源​的​方​式​,​更​易​于​部​署​,​实​验
试读已结束，如果需要继续阅读或下载，敬请购买
你可能喜欢

我要回帖

更多关于 微信订阅号发布消息 的文章

 

随机推荐