[软件配置管理测试工程师数据分析项目经理助理]鉴于你想要长期性,适合女生,而且是经验积累型的职业,我首先推荐数据分析可以请问你的专业是什么吗,确定了这点才好分析,不然,我这里只能猜个大概你大概是个学理工科的吧,那么基本的...+阅读
对于一个数据应用架构来说最重要的是要形成一个完整的数据链,应用和后台计算模型能形成一个闭环。虽然我不懂安全领域的相关算法,只能随意YY,但是几个元素我觉得应该一定少不了:
1.实时性。考虑到请求量压力可能很大,这就意味着对计算系统有很高的要求。对于每个请求要在足够短的时间内通过算法给出判定,实时性应该在ms级别,你说得三个框架里只有storm才能达到这个实时水平。
2.相关性事件。用户的访问行为进行安全判定时可能不只是基于单次访问,而是根据前后几次访问连续事件才能进行判定(犹如一个有限状态机)。而在分布式情况下对于事件顺序的判定是很有难度的事情,这里涉及到分布式系统的时钟问题,需要根据实际情况来做设计。
3.模型训练。分离线和在线两种,离线训练使指每隔一定周期(比如一天)根据存储系统内的历史数据训练计算模型和参数,然后更新判定算法。在线模式是根据用户行为在访问周期内就实时更新判定算法,相对来说后者难度更大一点,但是效果会更好一点。
4.维护和演化。产品级的数据应用不是功能做出来就可以了,所谓道高一尺魔高一丈,我猜想安全领域应该是非常需要向前演化算法策略的。也就意味着,你的系统可能随着系统发展或者相关算法开发人员的研发,需要在实施时接入不同的数据(比如说今天需要实时的x参数作为计算参数,明天需要实时的y参数作为计算参数)。这时候架构要支持快速接入新的监控参数的能力。需要注意的是数据产品不会是一个孤立单一的应用,是一组应用的集合。
延伸阅读:
我国信息技术应用教学的发展特点以计算机为核心的信息技术主要指多媒体计算机、教室网络、校园网和因特网(Internet)等。随着信息技术的高速发展,网络规模在中国的不断高速扩大,信息技术对现代人生活、工作的深...
信息技术应用设计包括什么从教育信息化和教育教学改革的全局出发,信息技术的课程整合,无论是其自身的,还是与其他学科课程之间的,都有其必然性。这种必然性是由信息技术学科本身的特点以及它确已渗透到了...
微电子计算机科学与技术应用物理固体电子工程通信工程这些希望有加分................ 微电子:微电子技术是随着集成电路,尤其是超大型规模集成电路而发展起来的一门新的技术。微电子技术包括系统电路设计、器件物理、工艺技术、材料...
网络技术应用的前景从目前的情况看,企业的IT技术管理岗位一般设置为企业信息主管、总监等;工程技术岗位设置为网络工程师、软件工程师和数据库工程师等;运行维护岗位设置为数据库管理员、系统管理...
学计算机网络技术应用有什么我只能告诉你一流的计算机网络技术教育是什么,因为现在教计算机的太多了,同样是网络技术专业,专业名字上是一样的,内在却有天壤之别,教学质量课程安排截然不同的都有。网络技术工...
如何设计企业级大数据分析平台统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 突破设...
如何进行spss软件中描述统计的数据分析呢方法/步骤 1、首先,打开或者是新建一组数据,这里是打开一组案例分析中的数据进行分析。 2、在浏览窗口中找到需要分析的数据。 3、选择分析,描述统计中的比率,单击打开。 4、...
spss数据分析录入完数据后,你可以先进行基础的数据统计--描述性统计。然后根据你的数据结果再看是否需要相关回归或者其他分析。spss里面的描述统计主要在analyze——descriptive里面,其中...
如何用spss进行数据分析原发布者:herman890111【本文中采用SPSS18】首先,要把问卷中的答案都输进SPSS中,强烈建议直接在SPSS中输入,不要在EXCEL中输入,再导入SPSS,这样可能会出问题……在输数据之前先要...