大数据入门第十八天——kafka整合flume、storm

一、实时业务指标分析

　　1.业务

　　业务：
　　　　订单系统---->MQ---->Kakfa--->Storm
　　　　数据：订单编号、订单时间、支付编号、支付时间、商品编号、商家名称、商品价格、优惠价格、支付金额

　　　　统计双十一当前的订单金额，订单数量，订单人数
　　　　订单金额（整个网站，各个业务线，各个品类，各个店铺，各个品牌，每个商品）

　　2.整合flume思路

　　　flume官网也是对应的kafka的sink配置与讲解：http://flume.apache.org/FlumeUserGuide.html#kafka-sink

　　　　（网上的一些例如brokelist等配置已经被标记为deprecated，请参照官网的最新属性配置）

　将采集的日志文件保存到kafka中
　　（source） 输入：tail -F xxxx.log
　　（channel）存储：内存
　　（sink） ??输出：kafka

config　　al.source = s1　　a1.channel = c1　　al.sink = k1　　source ==> exec tail -F xxxx.log　　channel ==> RAM　　sink ====> xxx.xxxx.xxxx.KafkaSink //该类必须存放lib目录　　sink.topic = orderMq　　sink.itcast = itcast