主要是写毕设,不需要真正实现,只要技术路线写的没有的问题就行。我太菜了。自己啃这块,估计要好久,怕来不及了。
其实就是我咨询你一些问题, 问一下这么实现,可不可行,你回答就行了。
发红包就当拜师费了,很简单的系统。希望来个大佬帮我
QQ 294036748
微信 q5623238
你可以先提出来你的问题?
一个车联网安全事件管理系统。系统本身不产生安全事件,主要从其他模块接收到安全事件相关信息。
现在想的是安全事件的产生模块把安全事件的信息放到kafka里,然后用flink/storm之类的去取kafka里的数据,
storm、flink里面有个写好的算法根据kafka里的安全事件的数据计算安全事件的等级,再根据等级给原来那个信息发送方一个反馈,比如说报警
然后如果30秒之内来的相同类型,出处的安全事件,就把它当成一个事件,最后安全事件将到安全标准了就算一个流程结束了,把这个安全事件保存到数据库
@wmxl: 从你描述看,基本可行,没问题。建议你采用Flink消费Kafka的方式,Flink目前是比较流行,内部的容错机制比storm完善。
@Beyond-bit: 可是我好菜,啥都不会,只玩过一点点hadoop,现在都忘光了。 我连flink这些东西是往我电脑上装,还是往服务器装都不知道。 也不知道怎么模拟产生数据
@wmxl:
1.不会的就学,做这个行业,要一直保持学习态度。
2.有服务器就装在服务器,不占你自己电脑空间。hadoop+flink+kafka 安装官网都有。网上资料也很多。
3.模拟数据自己写个python脚本或者你熟练什么编程语言往Kafka发数据就行。数据格式就按你最终会用到的格式自己造点数据。
@Beyond-bit: 在学了, 请问用虚拟机弄一个小集群,实现我上面说的那个,需要装单独装hadoop吗?还是装官网上面有的那个hadoop和flink合体的(我也不知道是不是这个意思)?
@wmxl:
1.hadoop是要单独装吗?,
答:这个看你需求可装,可不装,主要是flink 的checkpoint需要用到。(如果不想装hadoop也行,checkpoint路径指定本地磁盘目录就可以,这一步安装hadoop就省略掉了)
2.还是装官网上面有的那个hadoop和flink合体的?
答:这个其实是flink依赖hadoop支持hadoop的哪个版本的。自己装了hadoop那你就下载flink-hadoop。如果没有依赖hadoop则安装那个flink自己的编译包
@Beyond-bit: [PARENTDIR] Parent Directory -
请问一下flink-1.9.0-src.tgz flink-1.9.0-bin-scala_2.12.tgz 这两个有什么区别啊? 我要写简单的demo,需要下哪一个?
@wmxl:
1.flink-1.9.0-src.tgz 这个应该是源码包,需要自己编译。
2.flink-1.9.0-bin-scala_2.12.tgz是二进制的可用,Scala是支持Scala的版本。
你装flink-1.9.0-bin-scala_2.12.tgz 可以的。
@Beyond-bit: 谢谢 我已经在单机上跑了最简单的flink+kafka的生产者消费者demo
现在我想把消费者消费完的信息,当作新的生产者信息,再让另一个消费者去消费,这样好弄吗?
这样的话,kafka需要两个topic吗?
那个中间的既是消费者又是生产者的那块,代码是要分开写,还是可以写在一起?
@wmxl:
1.这样的话,kafka需要两个topic吗? ?
答:是的,用两个topic区分开来。
2.那个中间的既是消费者又是生产者的那块 ?
答:这个倒不必了。放到一个任务里面,这个任务的结构就是消费(consumer kafka)->计算->生产(sink kafka)
@Beyond-bit: 好的感谢 分给你了 有问题 再问您
@Beyond-bit: 能不能加一下您的联系方式啊qq、微信都行, 我怕我又遇到一些小问题,自己搞不来…… 不会打扰到你,主要是这个回复经常看不到。 我问的问题,你有时间回就回,没时间回也没事
@wmxl: 可以,发你私信 了