大型连锁商超智能化转型所面临的问题:
数据服务中心:
1.目的:把其他150个系统分散在不同的业务体系的数据能够读取过来,同时保留及通知其他的系统。要求实时数据推送(如多渠道价格同步),多service交互。
2. 线下的中国门店有500多家,目前先把价格,商品详情,库存数量等变得的数字读取过来,再暴露给到其他的系统。
3. 后期会把其他的例如OA的数据,HR的数据也会纳入到系统里面去。
4. 要求数据能够实时更新,实时暴露。
5. 用微服务的形式去做,每个部分做成一个服务,他们目前有在尝试用spring cloud 在做
6. 数量非常大,尝试了用一个门店的数据就达到了1亿,了所以要求将来要具备处理1-20数据量的系统
7. 不能把数据和服务器放在外面,所以一定是要独立部署的,那么就要求我们解决没有阿里云的这些服务中间件我们如何保障系统的部署和运行通畅,以及安全问题。
8. 高性能,安全性,用户体验,运维服务.微服务平台可能与传统ESB (Enterprise Service Bus)有相似之处,解决方案可以参考ESB。另外,还需要实施方案,包括但不限敏捷实践、DevOps实践等。
面临的问题主要包含以下几点:
1、用户群体庞大,需要大量的基础设施,这些基础设施该如何有效管理;
2、IT系统整体架构庞杂,各子系统之间标准不一、各系统间数据不能互通和共享,网络环境、系统软件等比较复杂;
3、资源利用率低,大量服务器上的系统独立部署、运营,云化程度较低,不能实现资源的集中共享;
4、传统基于 IOE 架构的系统,新建扩容等周期长、硬件部署效率低、横向扩容困难,维护成本居高不下;
5、数据集中后运行规模庞大并呈爆发式增长,传统的计费系统以及数据仓储等系统架构无法满足现有业务的需求;
6、系统弹性扩展能力不足,基本没有微服务治理能力,目前开发的各个平台系统耦合程度高;
7、缺少智能化运维能力,在 AI 分析、应用安全等方面还面临一定的技术挑战。
微服务能力中台赋能企业AI敏捷落地
为解决以上问题,该运营商研究院牵手国内容器云计算领军企业Legendshop,根据企业在架构、技术、研发、运营、业务发展等方面的实际需求,打造了“容器”+“微服务”+“AI”的创新性解决方案,即人工智能应用研发平台。在这个过程中,Legendshop微服务能力中台为该运营商研究院数字化、智能化转型提供了强有力的技术支撑。
Legendshop微服务能力中台基于Legendshop领先的 Docker容器技术和微服务架构方案,以及 AI 引擎和大数据服务能力,为企业提供了大型应用微服务化运维和管理能力、容器集群管理、容器部署、服务运维、持续集成、持续部署、租户隔离、微服务治理、APM 性能管理、CSB 服务总线、大规模训练、数据分析、AI 模型服务等功能,赋能企业AI应用敏捷落地,助力企业数字化、智能化转型。
Legendshop微服务能力中台建设方案,具体包含以下几点:
1、使用Legendshop搭建的统一容器 PaaS 平台,将软件从底层硬件中解耦,提供更好的可移植性和速度,打造轻量、快速、高效、友好的服务运行及开发环境,极大的降低了运维成本;
2、将企业中原来的单体应用系统应用升级为微服务架构应用,实现多个微服务组件可以独立部署,通过统一通信协议互相连接,保证独立性和高可用性,同时简化了部署、监控、运维、治理与微服务应用生命周期的管理;
3、使用Legendshop先进成熟的 DevOps 产品,重新规划设计开发测试运维的工作流程,优化开发测试标准的同时将日常繁琐的重复性工作交由平台来自动化完成,包括源代码管理、自动化构建、自动化测试、持续集成、持续部署等,显著的提高了应用系统的开发迭代效率;
4、基于 Kubernetes 核心支撑能力,实现对于应用服务的灰度发布、滚动升级、弹性伸缩、故障自愈、配置管理、服务高可用等多种治理手段,提供了统一的企业IT管理平台,提高了企业IT管理效率;
5、基于容器和微服务平台提供大规模训练、一键部署、弹性 NoteBook、AI 模型服务、支持数据/模型集等能力。显著缩短训练、调整和部署机器学习模型所需的时间。不同租户间资源有良好的隔离性,可以快速处理 AI 需求,极大的增强了资源利用率;
6、具备高清晰度的权限管理,涵盖项目、用户、角色等多个维度,对用户操作提供完整的审计功能,保障系统数据安全。
运营商的核心系统是目前涉及用户数量最多、涵盖范围最广也是技术最复杂的IT系统之一,Legendshop微服务能力中台出色的产品交付能力,再一次证实了自身过硬的技术实力,与该运营商研究院的深度合作也是容器、微服务和 AI 结合的又一次创新和突破。
微服务电商平台Spring Cloud技术白皮书
广州朗尊软件科技有限公司
企业中台架构解决方案
中台架构的思想伴随着企业规模不断扩大、业务多元化而形成的,各个业务条线通用的组件进行沉淀下来,以服务的方式为各个业务系统提供核心的能力,真正发挥组件重用的价值。中台架构以K8S+Docker容器化技术为基础构建运行支撑平台,基于容器化技术的灵活伸缩能力数据集成、服务集成、数据利用、公共服务、DevOPS版块,形成企业级的数据中台、技术中台。
中台实例截图:
中台架构以容器化技术为基础,构建集成类、数据类、支撑类公共支撑版块,并配到DevOPS实现对全过程的敏捷支撑,总体框架如下图:
中台架构各个组件说明:
(一)PaaS运行平台:
(1)以Kubernetes为基础,进行深度融合,构建PaaS运行平台,能够实现对微服务、服务网关、节点、镜像、存储卷进行统一管理。
(2)建立起公共服务应用超市,能够提供各类型常用应用支持。
(二)服务集成版块:
(1)数据总线:通过各种数据适配技术,将各类型的数据接入并汇聚到数据凭条中,能够满足大批量数据交换的需求,支持灵活的容器伸缩机制,能够适应大规模数据的采集处理。
(2)数据目录:对数据中心、各个应用系统的所有数据资源建立数据资源目录,提供以目录的方式扁平化管理数据资源,并且提供对数据的全生命周期管理。
(3)数据标准:结合国家标准、行业标准、企业标准对所有数据资源进行标准规范化。
(4)数据质量:对数据集成过程、数据中心的数据资源,以数据标准为基础进行数据质量监测。
(三)服务集成版块
(1)DaaS数据服务:以“配置即服务”的思路,无需代码开发的方式直接将数据平台的数据发布成接口服务。
(2)服务总线:建立统一的服务总线,支持对企业内部服务、互联网服务、企业外部服务的统一管理。
(3)服务目录:以目录方式组织共享服务,实现从服务的开发、测试、编目、发布、申请、使用全过程的管理。
(四)数据利用版块:
(1)数据可视化探索:基于B/S方式对数据中心的数据进行可视化的数据展示,支持图表方式、表格方式、图文方式数据展示。
(2)智能全文检索:对数据中心的数据,包括结构化数据、非结构化数据(Word、PDF等),建立全文索引,实现数据的高效、快速检索。
(五)公共平台服务:
(1)用户认证服务:建设企业统一的用户认证服务,实现Web应用、APP应用的单点登录。
(2)应用认证服务:建设统一的应用认证服务,实现对各个应用系统的接入、服务访问进行安全认证
(3)统一权限服务:建立统一的权限服务,实现对各个系统权限信息的集中管理、分级授权
(六)DevOPS版块
基于PaaS平台实现从开发、到运维的全过程敏捷化,主要配套建设:配置管理平台、自动构建平台、自动化测试平台、统一日志平台、运维管理平台。
(七)中台运营体系
(1)中台管理平台:实现对平台建设的各个模块以及资源进行集中的配置、管理、使用等。
(2)管理规范体系
以Kubernetes为基础,进行深度融合,构建中台运行平台,为应用提供灵活的、可伸缩的、高性能的运行环境,能够实现对微服务、服务网关、节点、镜像、存储卷进行统一管理。总体功能设计如下图:
PaaS运行平台截图:
服务网关是所有应用系统对外访问的流量入口,能够实现各个应用的访问,以及应用之间的相互访问能力,并且整体提升访问的安全性。总体访问过程如下图:
路由网关策略管理界面截图:
(1)路由网关策略管理
(2)网关路由策略配置
(3)服务网关运行监控
微服务管理是指对每个应用的微服务进行部署、配置、卸载、销毁等全过程的管理,完全实现基于可视化进行进行配置。
(1)微服务管理列表
(2)微服务创建
(3)微服健康检查
(4)微服务自动伸缩
对微服务配置文件的在线管理功能,能够对全局配置文件进行统一的管理,并且能够对修改后的配置信息动态的注入到运行的微服务容器中。
资源申请审核是指各个应用系统需要在PaaS平台部署的时候,需要提交资源申请,并由管理员审核后,才能进行部署,申请单设计如下:
域名管理是指对需要挂接到服务网关中进行路由访问的域名进行统一登记管理。
提供对应用所需要使用的磁盘的统一注册管理,提供对NFS、ClusterFS、CephFS的存储的支持,后期建设过程中,根据不同的需要可以考虑同时支持多种分布式存储系统。
平台节点是指PaaS运行的服务器集群进行管理和监控,如下图所示:
(1)平台节点列表
(2)平台节点监控
应用镜像仓库是指各个应用各自的镜像仓库,能够给各个应用提供镜像存储、使用能力
数据集成版块对数据的接入、数据的传输、数据的加载、数据加工处理、数据标准、数据目录、数据质量进行全方面的监管。
数据中心数据来源于众多的渠道,主要包括企业内部数据、政府数据、社会公共事业运营商数据、互联网数据、物联网数据等,平台提供多种数据适配采集方式采集数据,将采集的数据进行预处理后,存储到数据中心,产品还提供统一的监控、管理、配置中心,实现对数据汇聚服务的可视化配置,集中式管理和全方位监控。
总体框图设计如下:
数据总线汇聚监控:
数据总线任务管理