首页 新闻 会员 周边 捐助

有没有对kafa, storm熟悉的,求个大佬,技术咨询,有偿

0
悬赏园豆:50 [已解决问题] 解决于 2020-03-02 19:22

主要是写毕设,不需要真正实现,只要技术路线写的没有的问题就行。我太菜了。自己啃这块,估计要好久,怕来不及了。

其实就是我咨询你一些问题, 问一下这么实现,可不可行,你回答就行了。

发红包就当拜师费了,很简单的系统。希望来个大佬帮我
QQ 294036748
微信 q5623238

wmxl的主页 wmxl | 初学一级 | 园豆:152
提问于:2020-02-25 21:29
< >
分享
最佳答案
1

你可以先提出来你的问题?

收获园豆:50
Beyond-bit | 老鸟四级 |园豆:2885 | 2020-02-26 10:24

一个车联网安全事件管理系统。系统本身不产生安全事件,主要从其他模块接收到安全事件相关信息。

现在想的是安全事件的产生模块把安全事件的信息放到kafka里,然后用flink/storm之类的去取kafka里的数据,
storm、flink里面有个写好的算法根据kafka里的安全事件的数据计算安全事件的等级,再根据等级给原来那个信息发送方一个反馈,比如说报警

然后如果30秒之内来的相同类型,出处的安全事件,就把它当成一个事件,最后安全事件将到安全标准了就算一个流程结束了,把这个安全事件保存到数据库

wmxl | 园豆:152 (初学一级) | 2020-02-26 12:18

@wmxl: 从你描述看,基本可行,没问题。建议你采用Flink消费Kafka的方式,Flink目前是比较流行,内部的容错机制比storm完善。

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-02-26 17:16

@Beyond-bit: 可是我好菜,啥都不会,只玩过一点点hadoop,现在都忘光了。 我连flink这些东西是往我电脑上装,还是往服务器装都不知道。 也不知道怎么模拟产生数据

wmxl | 园豆:152 (初学一级) | 2020-02-26 23:37

@wmxl:
1.不会的就学,做这个行业,要一直保持学习态度。
2.有服务器就装在服务器,不占你自己电脑空间。hadoop+flink+kafka 安装官网都有。网上资料也很多。
3.模拟数据自己写个python脚本或者你熟练什么编程语言往Kafka发数据就行。数据格式就按你最终会用到的格式自己造点数据。

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-02-27 10:54

@Beyond-bit: 在学了, 请问用虚拟机弄一个小集群,实现我上面说的那个,需要装单独装hadoop吗?还是装官网上面有的那个hadoop和flink合体的(我也不知道是不是这个意思)?

wmxl | 园豆:152 (初学一级) | 2020-02-27 23:58

@wmxl:
1.hadoop是要单独装吗?,
答:这个看你需求可装,可不装,主要是flink 的checkpoint需要用到。(如果不想装hadoop也行,checkpoint路径指定本地磁盘目录就可以,这一步安装hadoop就省略掉了)

2.还是装官网上面有的那个hadoop和flink合体的?
答:这个其实是flink依赖hadoop支持hadoop的哪个版本的。自己装了hadoop那你就下载flink-hadoop。如果没有依赖hadoop则安装那个flink自己的编译包

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-02-28 10:41

@Beyond-bit: [PARENTDIR] Parent Directory -
请问一下flink-1.9.0-src.tgz flink-1.9.0-bin-scala_2.12.tgz 这两个有什么区别啊? 我要写简单的demo,需要下哪一个?

wmxl | 园豆:152 (初学一级) | 2020-02-29 18:06

@wmxl:
1.flink-1.9.0-src.tgz 这个应该是源码包,需要自己编译。
2.flink-1.9.0-bin-scala_2.12.tgz是二进制的可用,Scala是支持Scala的版本。

你装flink-1.9.0-bin-scala_2.12.tgz 可以的。

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-03-02 13:55

@Beyond-bit: 谢谢 我已经在单机上跑了最简单的flink+kafka的生产者消费者demo
现在我想把消费者消费完的信息,当作新的生产者信息,再让另一个消费者去消费,这样好弄吗?
这样的话,kafka需要两个topic吗?
那个中间的既是消费者又是生产者的那块,代码是要分开写,还是可以写在一起?

wmxl | 园豆:152 (初学一级) | 2020-03-02 18:01

@wmxl:
1.这样的话,kafka需要两个topic吗? ?
答:是的,用两个topic区分开来。
2.那个中间的既是消费者又是生产者的那块 ?
答:这个倒不必了。放到一个任务里面,这个任务的结构就是消费(consumer kafka)->计算->生产(sink kafka)

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-03-02 19:15

@Beyond-bit: 好的感谢 分给你了 有问题 再问您

wmxl | 园豆:152 (初学一级) | 2020-03-02 19:21

@Beyond-bit: 能不能加一下您的联系方式啊qq、微信都行, 我怕我又遇到一些小问题,自己搞不来…… 不会打扰到你,主要是这个回复经常看不到。 我问的问题,你有时间回就回,没时间回也没事

wmxl | 园豆:152 (初学一级) | 2020-03-02 19:23

@wmxl: 可以,发你私信 了

Beyond-bit | 园豆:2885 (老鸟四级) | 2020-03-02 19:34
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册