未来在云端——云原生架构升级实践

嘉宾 | 史海峰编辑 | 睿暄


本文整理自方正证券架构平台负责人史海峰在WOT2024大会上的主题分享。在《云原生时代的成本优化》专场中,史海峰以《未来在云端——方正证券云原生架构升级实践》为主题分享了方正证券的云计算基础设施建设实践以及云原生架构升级的关键点和落地收益。


方正证券的上云历程


国内证券行业的信息系统发展经历了几个阶段:


  • 1.0:交易电子化(2000年之前)

  • 2.0:交易大集中(2000-2008)

  • 3.0:网上交易(2008-2016)

  • 4.0:数字化转型(2017-今)


当前证券行业正处于数字化转型的4.0阶段,在此背景下,监管机构和行业协会制定了一系列关于金融行业数字化转型的指导政策。例如,2020年中证协发布了《关于推进证券行业数字化转型发展的研究报告》,旨在推广数字化转型领域的行业最佳实践。2021年证监会发布了《证券期货业科技发展“十四五”规划》,旨在全面推动科技赋能行业发展。2023年《数字中国建设整体布局规划》发布,强调数字基础设施是数字中国建设的基石。


方正证券致力于数字化转型,尤其重视IT基础设施建设,经过多年持续投入,打造了面向未来的云原生基础架构。证券行业因其业务特性,对系统稳定性有极高要求,因此在影响全局的IT基础设施建设方面非常慎重。如果用《跨越鸿沟》的划分方式,方正证券引入创新技术的战略秉承实用主义原则,持续关注前沿技术,在技术跨越鸿沟相对成熟之后再根据实际需求引入,云基础设施的建设就是一个典型案例。



2019年,方正证券经过充分调研,决定引入云计算技术,基于KVM构建了轻量级私有云。在验证私有云的稳定性和降低成本的效果后,2020年方正证券进一步选择外购私有云服务。进入2021年,方正证券开始应用Docker容器技术,进行自研应用容器化改造,启动云原生架构升级。随后在2022年基于Kubernetes(K8S)技术自建容器云平台,并支持一云多芯。到了2023年,方正证券的云原生基础设施已基本完善,成功将30%的自研应用迁移到了容器云上。未来,除资源密集型、计算密集型或者对响应时间及单机稳定性有极高要求的应用外,方正证券计划在2025年将自研应用全部迁移至云端,并迁移部分外购应用,迁移以容器为第一选项,以虚拟机为第二选项。


云原生架构升级之路


基于容器技术的云原生架构与基于虚拟机技术的私有云架构在本质上存在显著差异。虚拟机技术模拟的是传统物理机操作模式,而云原生技术是要结合企业应用生命周期,覆盖从开发到部署、再到运维的整个链路。云原生技术并不是简单地将业务应用迁移至容器,而是多维度全方位的变革,是面向应用的技术体系升级。


方正证券的云原生架构升级是一个系统工程,共分为三个阶段:


第一阶段(2021-2022年):


构建云原生基础设施,打造包括应用容器化改造,镜像仓库,镜像安全扫描,DevOps平台等一系列应用改造及基础设施。通过Docker改造升级进行过渡,为后续云原生项目的展开奠定理论和实践基础,提供最佳实践;


第二阶段(2022-2023年):


这个阶段具有里程碑意义,方正证券创造性地与服务器厂商共创云原生基座,厂商提供更适合,更安全的云原生操作系统,基于K8S构建容器云,同时在监控,运维,安全等多维度,多领域适配云原生。2023年完成30%自研应用云原生架构升级,迁移上线,并支持部分外购系统部署。


第三阶段(2024年-2025年):


稳步推进云原生进程,自研应用全面云原生化。对资源进行精细化调度,并形成可靠保障机制,与私有云、物理机协同实现资源全生命周期管理,与数据平台合作提供容器资源调度,充分合理利用资源,节约采购成本,提升效率和可用性。

在应用批量架构升级后,方正证券看到了云原生技术带来的成果:提效和降本。应用生产部署效率提升了75%,容器化相对于虚拟机减少了50%以上的软硬件资源占用;相对于物理机则减少了73%的软硬件资源占用。


云原生架构升级四个关键点


方正证券是如何实现云原生的架构升级?通过哪些关键的举措确保不出现大的风险?在建设过程中有两点很重要,而在升级过程中还有两点非常关键。


建设的第一点是定标准,方正证券参考信通院的云原生能力成熟度模型标准,结合自身实际需求设定《方正证券云原生能力成熟度模型》,并以此为基础列出了一张表格,标出每一个维度的阶段目标,形成四年规划。第二点则是与行业专家交流,汲取经验,方正证券先后与平安科技、自如、DaoCloud进行了深入交流。



学习过后就要落地实践。方正证券的云原生平台架构从上到下分别为DevOps、容器云和K8S,同时对接原有的平台能力,比如监控、集群管理、云管、项目管理、权限日志等。方正证券的DevOps平台不仅服务于云原生架构,还将支持物理机和私有云环境,实现对前端、后端以及移动端应用的全面部署支持。



云原生基础架构建设之后,面对的最大挑战是应用升级改造,这个过程中有两个关键点:第一点是项目方式推进,制定升级计划,每周通过例会确认当前进度和下周目标,项目前期进行培训,提供详尽的操作手册,架构平台团队专人对口一站式服务;第二点是配套工具支持,包括DevOps平台支持双轨部署过渡、网络连通性探测,监控系统支持云原生可观测性指标,模板工程改造。



这里重点介绍双轨和网络连通性探测。双轨部署允许应用同时部署到虚拟机上的Docker和容器云的K8S容器运行,对于级别较高的系统,可先双轨部署,观察一段时间运行平稳再完全迁移到K8S的容器上。网络连通性探测是针对复杂网络环境下的必要功能,应用迁移过程中需要重新开通网络权限,方正证券的DevOps平台支持提交网络权限申请,并在网络权限变更之后自动探测连通性,大幅减少人工操作。


未来在云端


随着行业技术发展和数字化转型的推进,未来将有更多的应用运行在云端,云原生架构也将持续演进。接下来方正证券会进一步完善云原生能力。打造更为成熟的容器云、DevOps平台、微服务技术架构。


在容器云方面,方正证券将支持应用的异地多活部署,合理调度资源,尤其是通过动态调度为大数据平台提供算力,以优化成本。


DevOps平台则专注于应用的全生命周期管理,简化部署和监控流程,提高问题定位的速度,并增强测试效率。平台将采用一系列技术和工程规范,确保所有参与者在流程中达到既定的标准,并设立准入门槛以保证流程的质量。在多版本、多分支的情况下,DevOps平台将支持流量染色,提升并行开发和测试的能力,实现同时开发和测试不同版本的应用。此外DevOps平台还将探索应用人工智能技术,利用AI提升CodeReview的效率和准确性。


通过实现以上种种能力和功能,方正证券希望能够实现降成本、保稳定、提效率,节省硬件资源,提升部署效率,缩短线上故障恢复时长。


总结


云原生架构建设是技术战略投入,随着平台能力不断完善,必将深化科技赋能,从而推动数字化转型。方正证券金融科技团队秉承‘行稳致远,进而有为’的理念,立足科技创新,面向业务场景,创造更多价值,助力数字金融建设。




相关推荐

  • 登顶新SOTA!阿里新开源语音模型Qwen2-Audio ,实测优于 Gemini-1.5-pro,网友:离GPT-4o只差一步
  • 大模型正成为钢铁行业转型升级的关键力量
  • AI 革命不会被垄断:开源力量挑战巨头主导
  • 聚宽揭秘:为什么量化研究员喜欢在Kubernetes上使用Fluid简化数据管理 ?
  • 当互联网遇上制造业,飞书项目的 IPD 解决方案能行吗?
  • 大模型“自学”后能力反下降,Llama/Mistral都没逃过
  • 断网也能用!贾扬清团队推出端侧模型Chrome插件,arXiv/B站/吃瓜一件搞定
  • 提示词用上“过去式“,秒破GPT4o等六大模型安全限制!中文语境也好使
  • GPT-4o mini背后团队揭秘:9人团华人面孔过半,清华北大同济校友在列
  • 招聘|高级NLP自然语言处理工程师(大模型)
  • 数据治理全流程实战剖析,助力业务增长
  • 从0到1:广告营销多智能体架构落地全攻略
  • new String("yupi") 一共创建了几个对象?
  • 看了鱼友的上岸经历,治好了我的内耗!
  • 快手开源大模型长序列训练加速技术,性能大幅超越SOTA方案
  • Neural Networks (CCF-B) 特刊征稿:大语言模型时代的模型压缩
  • 多模态安全偏好对齐数据集SPA-VL,全方位提升多模态大模型安全能力
  • 小红书「REDstar顶尖人才计划」全球启动!
  • LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
  • 华为GTS LocMoE+:高可扩展性亲和度 MoE 架构,低开销实现主动路由