这是一个创建于 3743 天前的主题，其中的信息可能已经有所发展或是发生改变。
上头突发奇想打算在产品里加入一个日志采集+分析的功能。看了几天flume文档，头都大了。
目前boss要求先实现个Demo，思来想去，打算做成下图这样子：
http://imgur.com/RzbdHk3
就是agent1 2将日志采集汇总到agent3上，持久化到MySQL中
遇到两个点不是特理解：
1. 图中agent1, agent2的sink端与agent3的source端貌似要通过Avro来打交道，对Avro这个东东一头雾水。是简单配置下flume的conf文件就能用还是需要使用Avro并做一番特别的配置？
2. store层需要自定义一个MySQL_Sink，这个是不是要自己拉flume源码打包编译呢？
自己对分布式日志系统不怎么了解，搞到这里有点束手束脚，请大家指点一二
目前boss要求先实现个Demo，思来想去，打算做成下图这样子：
http://imgur.com/RzbdHk3
就是agent1 2将日志采集汇总到agent3上，持久化到MySQL中
遇到两个点不是特理解：
1. 图中agent1, agent2的sink端与agent3的source端貌似要通过Avro来打交道，对Avro这个东东一头雾水。是简单配置下flume的conf文件就能用还是需要使用Avro并做一番特别的配置？
2. store层需要自定义一个MySQL_Sink，这个是不是要自己拉flume源码打包编译呢？
自己对分布式日志系统不怎么了解，搞到这里有点束手束脚，请大家指点一二
目前尚无回复
Select Language