58518con,990990藏宝阁开奖资料990990o,w ww.58158.com

日志易饶琛琳:极客邦科技CNUTCon日志处理技术前瞻

2019-03-13 06:00

  2018 年 11 月 16 日,极客邦科技举办的CNUTCon 全球运维技术大会将于上海如期举行。会议第二日,由日志易共同协办的“日志处理”专题论坛亮相。针对该专题内的四大选题,小编对大会“日志处理”专题出品人饶琛琳做出了采访。

  大数据时代的到来,不断刷新着人们对数据价值的认知。利用数据更好的为业务服务,则能带来更充足的客源,利用数据反馈于生产,则能指明研发的方向。

  对于运维来说,最重要的数据,莫过于日志了。然而,各个集群的日志格式不一,数据量又那么庞大,怎样才能充分又省力的挖掘日志的价值呢?甚至有人会产生疑问,日志真的有那么大的价值吗?

  在即将举行的 CNUTCon 全球运维技术大会中,围绕“日志处理”专题,各大互联网集团的四位大咖将会对此问题做出不同角度的解读。这里面会有什么有意思的分享呢,让我们自本次采访中探探底吧。

  此次的选题是以普及日志处理更大范围的运用为目的,日志不单单表现在访问日志及错误日志上的查看上,在其他方面,日志同样能够为运维的工作大幅赋值。选题从应用场景和性能管理方面分别进行阐述,旨在让观众知道日志处理可以用于何处,也知道为什么和怎么做。

  从传统的运维层面来讲,日志运用的领域较为狭窄。本次选题从多个层面,会针对日志可能用到的方向去做普及。日志可以运用到服务器、网络端、移动端,也可以和测试等功能结合。而这些维度的运用,会给运维人员,或整个 IT 团队,以及业务部门,带来更大价值。这是选择移动端和 QA 与 Ops 通力合作议题的原因。

  另一个方面,日志处理运用的范围广了,数据量也会激增,这对日志处理要求的难度就会增高。大规模的海量日志该怎么维护?围绕这点,于是有了日志平台化的选题。而仅仅有平台化还不够,高性能才是目标。这也是运维关注的热点。专题中把高性能放首位,也算不负各位同行的期待!

  互联网发展的趋势是用数据分析去驱动 IT 工作。而在日志处理方面,饶琛琳认为未来的发展方向有三个步骤,即集中化,AI 驱动,然后由此调动任务编排。

  目前很多企业在日志处理上的常态是,各个部门有单独的日志系统,比如运维、测试、研发,这些部门的日志是分开处理的。这样,日志所起到的作用就相当有限。

  数据集中化则能让数据发挥出 1+12 的价值。日志统一集中管理,就能获取到更全面细致的信息。在此基础上,利用人工智能的技术,能够让集中化的日志分析过程,更加的高效和准确。日志集中化也就是平台化,平台化能够将各个部门的工作紧密联系在一起,然后就可以做联动性,或者是调用服务编排。这样便能大大提升工作效率。

  运维人员可以通过了解日志处理的新兴技术框架,更好地把握技术发展的趋势。在流处理上,目前比较火的框架有 Flink 。对于 Schema 比较固定的需求,可以使用诸如 Kylin、Clickhouse 这些框架。

  就集中化而言,日志易致力于做一个大平台的管理系统。现在很多公司的 ES 集群如果大于二三十个节点之后,再要管理就相当麻烦,一般情况下,会采取拆集群的方式。这样会造成日志管理的诸多不便。而在用单集群去集中化处理更大量的日志数据的研究方面,日志易已经做了很多性能优化工作。单集群管理日志,会大大减轻运维工作的复杂度。这一点在 CNUTCon 运维大会上日志易技术副总裁黎吾平会有比较具体的介绍。

  另外一点是,日志易也会引入 AI 赋能。如性能指标的智能基线告警,日志的异常模式自动发现。

  在 DevOps、AIOps 不断刷新运维概念的今天,我们有理由相信,日志处理将会迎来更高性能、更便捷的明天。你若不信,且看日志易好了!

  极客邦科技(InfoQ)主办的第四届CNUTCon全球运维技术大会,邀请了Twitter、RIOT Games、BAT、华为等国内外一线大厂,全方位、多角度分享运维领域50+最佳实践案例!

  2.新思路打造移动端个案综合日志分析系统 周辉 / 美团点评资深移动架构师

  3.QA与Ops通力合作打造反脆弱的软件系统 林冰玉 / ThoughtWorks 高级软件质量分析师