哪个地方可以看到银河的地方Flume 分析实战?

《《《《《《监控文件夹》》》》》》

这是轮询模式不是中断模式。如果检测的目录下没有生成文件hdfs目录也不会创建,当检测目录下有文件后HDFS目录也会创建
解決所有文件都会上传的方法:查找配置项,进行配置

《《《《《《监控文件夹和文件》》》》》》
既要监控某一个目录又要动态读取目录中文件的数据?
exec:动态读一个文件

版权声明:本文为博主原创文章遵循 版权协议,转载请附上原文出处链接和本声明

首先,Flume监控本机44444端口然后通过telnet工具向本机44444端口发送消息,最后Flume将监听的数据实时顯示在控制台

  1. 通过telnet工具向本机的44444端口发送数据
  2. Flume将获取到的数据通过sink端输出到控制台

利用netstat指令可让你得知整个Linux系统的网络情况。

-n 拒绝显示別名能显示数字的全部转化成数字。(重要) -r 显示路由信息路由表 -e 显示扩展信息,例如uid等 -s 按各个协议进行统计 (重要) -c 每隔一个固定时间执荇该netstat命令。

在flume目录下创建job文件夹并进入job文件夹

先开启flume监听端口

表示配置文件存储在conf/目录
-D表示flume运行时动态修改

使用telnet工具向本机的44444端口发送內容

实验使用场景:通过ambari部署集群后可以添加自己的日志系统,记录每个组件的产生的日志实时的查询分析。

 
 

  1. 日志若是错误信息并不是每一行都是作为es的一个文档,而昰若干行的内容才是es的一个文档的message

 

导入es的文档数据结构:



 

我要回帖

更多关于 什么地方可以看到树熊 的文章

 

随机推荐