Cognos + Kyligence：打造大数据时代的OLAP解决方案

　　作为 Hadoop 原生的企业级 OLAP 大数据分析产品，Kyligence 是 IBM Cognos 在大数据场景下的最佳迁移方案，已经成为金融企业替换 IBM Cognos 技术的主流选择!

　　本文将通过剖析金融企业使用 Cognos 中碰到的瓶颈问题，结合 Kyligence 在某保险企业与某大型金融公司的实际应用为例，为大家展示 Kyligence 是如何替换Cognos OLAP 后台服务，提供基于分布式架构的大数据 OLAP 能力，突破 Cognos 固有的支持维度数少、性能低、没有单元格级别的 ACL 能力，无法连接大数据平台等局限，并与 Cognos 报表工具无缝集成，帮助企业实现海量大数据上的亚秒级查询体验，赋能企业整体分析和决策效率。

　　前言

　　随着企业向“互联网+”和“金融科技”的转型，数据量和数据分析需求都成爆发式增长，面对来自经营分析、客户管理、精准营销、风险防控等业务的分析需求， Cognos OLAP 组件在数据量、维度数量、维度基数、查询速度、构建性能、并发能力等方面的不足以及高昂的使用成本使得企业用户无法基于其平台充分应对大数据多维分析的挑战。

　　如某全国性金融机构，Cognos 的单次查询时间平均在15分钟，最长超过1小时，数据分析人员无法进行多维分析，只能查看预先生成的固定报表。另外某国有银行，为了减少权限变动导致的数据刷新次数，同样的分析主题需要为每个分行单独构建 Cube，导致全行 Cube 数量超过 2,000 个，开发和运维压力非常大。因此将企业级 OLAP 分析平台从传统技术迁移到适用超大规模数据集，特别是基于 Hadoop 平台、原生的 OLAP 技术成为越来越多国内外金融企业的选择。

　　IBM Cognos 是传统的商务智能(Business Intelligence)产品，进入市场早，功能较完善和稳定，成为当时业界公认的主流 OLAP(Online Analytical Processing，联机分析处理)产品之一，在银行、保险、证券、电信等传统行业有着广泛的使用。

　　最近几年，很多企业开始基于 Hadoop 技术建设大数据分析平台，以更好的支持企业对业务数据、用户行为数据、日志数据，外部数据的融合分析，但 Cognos BI 对于 Hadoop 技术的兼容性差，以及 Cognos Power Cube 本身的技术局限性，使得企业缺乏在大数据平台上进行 OLAP 多维交互式分析的能力。Kyligence 的产品作为 Hadoop 原生的企业级 OLAP 大数据分析组件，能够提供 PB 级数据集上的亚秒级多维交互式查询能力，目前已成为金融企业替换 Cognos OLAP 技术的主流选择。

　　保险案例Kyligence +Cognos BI融合分析实践

　　以某国内大型保险公司为例。在产险公司保费增速和综合成本率双优目标背景下，企业期望以管理会计的全新视角归集财务成本，整合车险、非车险、渠道、费用等近4亿业财数据进行细粒度多维分析，为财务部门提供保单级数据多维经营分析和成本考核。然而传统 Cognos Power Cube 由于本身技术架构的局限性，无法对业财整合后的海量数据实现高效分析，跨年多维分析的延迟常常慢到分钟级;无法满足对业财融合数据的数百个维度和指标进行灵活高效分析的需求，分析维度和分析指标偏少，单个分析场景仅能支持10个以内的维度的灵活组合分析;且分析时效滞后，分析预见性差以及回溯分析困难。

　　Kyligence 基于 Hadoop 分布式技术框架，则将 Cube 能力提升到一个崭新的层次——单一 Cube 支持数百TB甚至PB级源数据，Cube 维度和指标数目敏捷扩展，支持百万级高基数维度分析，支持高并发数据查询。Kyligence Cube 能够作为数据源无缝连接 Cognos BI，在保留业务用户使用习惯的同时，提升多维分析性能和体验。

　　以绩效考核分析场景为例，财务人员能够从分公司/中支公司/支公司/科室/经办人、渠道、条线、代理点、等分赔付等 40+ 维度对作业成本项目进行责任单位的无限细分，秒级获取 200+ 指标结果，有力地改善作业成本管理，实现精准绩效考核和精益化管理。

　　金融案例Kyligence替换Cognos，成为企业OLAP平台的新选择

　　国内某大型金融公司从2007年开始将多维分析理念引入数仓系统，支撑了大量业务分析应用，2012年以后，随着数据量增长，基于 Cognos OLAP 的多维分析平台的一些弊端和技术限制开始显现，例如日/月报数据准备时间长，月报构建时间超过三天，查询性能不稳定，查询延迟从秒到分钟级，甚至小时级，给业务带来极大的困扰。另一方面，整个平台的运维工作量也越来越大，有1,200个 Cube 支撑80%的分析应用，超过5,000个任务调度，给开发和运维带来了巨大的负担。另外，平台在编程和扩展性，权限管理方面都存在瓶颈。

　　2018年，该企业在其建设的 Hadoop 大数据平台上部署了 Kyligence 公司的智能数据分析平台，向企业内外部提供大数据多维探索和分析服务。日批量由15小时减到2小时，数据准备时间缩减80%;通过1个 Kyligence Cube 替换数百个 Cognos Cube，IT 运维成本缩减90%;实现90%查询响应小于3秒，业务分析效率得到了显著提升;支持在千万级商户粒度进行高性能交互式分析与数据探索，成功推动业务创新。

　　Kyligence + Cognos，极大提升企业分析与决策效率

　　Kyligence 的产品是基于 Apache Kylin 的企业级智能大数据分析平台，为用户提供PB级数据集上的亚秒级查询能力。作为 OLAP 数据源，Kyligence Cube 能够快速迁移和替换企业原有的 Cognos Power Cube，且无缝对接 Cognos 前端分析和展现组件，例如 Report Studio 和 Analysis Studio，在支持原有业务的同时，大幅增强对新需求、新业务的支撑能力，提升用户在多维探索时的体验。以下是 Kyligence 与 Cognos 的集成架构图：

　　这里实现了在 Kyligence 和 Cognos 的集成架构中使用同一套用户和数据权限管理机制，显著提升了管理效率，避免用户多次登录。Kyligence 支持将传统 RDBMS 数据库作为数据源，进行 Cube 构建，使得用户无须搬迁底层数据，无须改变前端应用，采用快速而敏捷的方式加速业务交互式查询体验，赋能企业整体分析和决策效率。

　　以下是 Kyligence Cube 替换 Cognos PowerCube 后的架构对比图。除了Cognos BI，Kyligence 也能和其他BI工具例如 Tableau，Qlik，Power BI 进行无缝集成。

　　本方案使用 Kyligence Cube 替换传统Cognos Power Cube，突破了传统多维分析在容量、性能、实时性、并发能力方面的瓶颈，该方案具备以下优势和收益：

　　· 无缝集成Cognos BI或其他前端展现工具，业务应用无须改变，而是底层数据源实现快速切换;

　　· 显著降低Cube设计的复杂度，节省大量重复的开发和运维人力成本，将IT资源聚焦到更多有价值和创新的技术和业务上;

　　· 提供智能化方法敏捷迁移现有Cube，实现业务分析体验和效率的提升，大大加速项目部署周期;

　　· Cube日增量构建通常能在1小时内完成，大大提升了从数据到业务结果呈现的时效性;

　　· 基于PB级数据，无需IT团队事先准备汇总场景，用户可进行灵活拖拽、筛选过滤、钻取等自助分析操作，提供更好的用户体验，加速业务获得数据的效率;

　　· 支持读写分离架构，提供稳定的并发性能，满足大量用户同时访问的需求，赋能企业将数据分析和决策能力渗透到企业各个层级。

　　关于 Kyligence

　　Kyligence 由首个来自中国的 Apache 软件基金会顶级开源项目 Apache Kylin 核心团队组建，是专注于大数据分析领域创新的数据科技公司。Kyligence 提供基于 Apache Kylin 的企业级大数据智能分析产品 Kyligence Enterprise，以及基于公有云的托管式 Kylin 在线服务 Kyligence Cloud。目前，Kyligence 已赢得了海内外多家金融、保险、证券、电信、制造、零售、广告等企业级客户。