达云助力绿海数字买卖公司完成软件布置上云

1.概述

  本次需求把量化金融买卖体系从GCP搬迁到AWS。
  绿海数字买卖公司是一家致力于为全球用户供给安全、高效的数字财物买卖服务的公司。办理和运营区块链，施行有用的危险办理战略，保证用户财物安全，一同不断创新和优化买卖体系和服务，进步用户体会。致力于探究区块链技能的运用，并严格遵守世界金融监管法规，保证买卖平台的合法性和透明度。

1.1.项目方针&痛点

  GCP保管服务搬迁：客户技能团队深度运用GCP保管服务，在搬迁至AWS时需求专业的技能服务商帮忙客户匹配到对应的AWS服务，别离对GCP到AWS的服务适配、搬迁可行性研究、搬迁办法验证等作业；因为两个厂商的产品差异、体系架构和布置方法不同，等导致搬迁和重建的作业量较大。如ES搬迁、EKS重建等，咱们也期望客户运用AWS的时分能有专业辅导快速上手，削减不必要危险试错，帮忙快速完结客户量化金融体系在AWS上的架构规划、搬迁和布置。

  客户自建数仓与Aurora PostgreSQL继续同步：客户自建的GreenPlum 7数仓与Postgre SQL兼容，处理的很多数据表需求在事务运用中运用，即需求同步到Postgre SQL数据库运用，大量表的同步会有冗杂的DMS作业以及PG功用问题处理。
  Postgre SQL数据库所需求的表从数仓拉取同步共同的。客户的数据表提过有1张几千万行数据的大表，其他事务有几十张小的表需求同步。咱们测验验证过很多表DMS CDC，其实对DMS Instance以及Aurora的IO等功用要求较高，这部分已经有DMS最佳实践给客户介绍了，会拆分很多个DMS实例别离同步不同的表，缓解压力也进步容错。
  咱们之前也引荐过Redshift代替客户自建GP数仓和PG数据库（但测验Redshift不支持大数）所以客户现在仍是用更了解的自建数仓GP

1.2.预期项目作用

假如满意以下首要规范，客户将以为该项目成功的：

1.3.主张架构图

  为满意客户的需求，全体事务体系布置的架构如图所示，将会要点合作施行以下方面：

架构阐明

根据AWS架构规划考虑：
运营、安全、高可用、功用、本钱、可继续性。
1、 咱们规划Landing Zone帮忙客户做合理的网络层级区分，项目首要是内部运用，做数据处理剖析和模型战略练习运用，外网只放部分NAT和跳板机，首要事务会集在内网履行并做好路由规划和安全组等战略
2、多可用区放置资源履行事务，进步事务安全性，以及扩展上限，也下降单点毛病的危险
3、会运用AWS的IAM、CloudTrail等服务，帮忙办理客户的权限，操作记载，账号资源反常运用状况等问题

监控告警告诉规划：
1、 因为客户需求了解事务负载状况，需求帮忙装备CloudWatch监控告警信息如：EC2状况改变、Health事情、内存、CPU运用率等；关于中心数据库PG的负载和DMS毛病供给定制告警，后续优化可能到企业微信或许飞书的方法
2、 引荐运用保管的Prometheus搜集EKS集群，核算资源等监控方针结合CloudWatch；客户自己有监控告警计划，按需履行（架构图保存引荐规划，本次项目周期原因客户决议先沿袭自建容器监控，后续有时刻会测验和看作用考虑运用aws保管的监控）

中心事务EKS集群规划：
1、 WorkerNode运用多可用区域布置保证事务的可用性，在模型测验时会不定期快速启用批量资源测验作用，规划运用Karpenter作为Kubernetes auto scaling东西更快速灵敏的方法扩缩容满意事务需求。
2、 中心事务均布置在EKS集群内；
3、 规划集群运用ALB Controller的ingress露出Services；
4、 单EKS容器集群，节点数量容量为设置2-20台保持根底事务并操控本钱，按当时GCP负载预估16台服务器；
5、 每台EC2初始装备50G GP3磁盘后续可按需扩容，并考虑EFS方法会集寄存脚本等启动项内容和日志；
6、 将节点布置在Private Subnet，制止露出节点在公网保证Nodes的安全可控；
7、 节点组的安全组仅答应来自EKS集群和ELB的拜访；

难点问题数据库搬迁和同步：
1、 GCP的ES快照导入到AWS Opensearch；
计划运用快照拍照导出上传到s3的方法完结搬迁，ES的停机时刻能够预先安排1或2天
假如搬迁未完结，则后续增量部分需求考虑做实时增量搬迁会添加复杂度。所以提早需求多几回评价测验在当时GCP中ES高负载的状况下履行1TB快照的时刻，以及导入到aws端的时刻来保证尽量静态搬迁
2、 客户自建数仓多个表同步到中心数据库Postgre SQL（概况参阅客户布景痛点部分）

1.4.搬迁成功交给规范

• 计划符合要求；
• 搬迁文档完全，符合要求；
• 运用及数据搬迁悉数完结；
• 搬迁后功用性符合要求；
• 完结约好规模的搬迁规划与施行，事务切换后安稳运转15个作业日。

1.5.交给方针

• 架构优化陈述
• 项目增量保驾护航
• AWS 云架构描绘
• 账号&IAM 权限最佳实践
• 服务操作验证文件

2. 为什么挑选Amazon Web Services

• 有老练的跨境专线计划和处理才能
• 可扩展EC2开发机，满意高功用核算的要求
• Workspaces满意企业级的安全要求

3. 为什么挑选达云

  作为AWS APN Select Consulting Partner高档才能同伴，达云在继续服务客户的过程中了解到客户当时所遇问题和需求，就开端着手和客户一同构建在AWS上的全球研制网络和有用的办理手法。在此期间达云向客户供给技能咨询，帮忙客户补偿公有云网络的常识差，以合理的项目规划与办理保证满意客户各项技能要求，完成快速、优质交给，终究推动项目的成功落地。

  作为MSP服务供给商，达云不只帮忙客户处理上云最终一公里的问题，一同也继续以专业视点剖析和优化客户IT体系架构，以更快速的服务速度，完好、合理的服务流程，帮忙客户完善体系架构，进步体系安全性，节省用云本钱，为客户用好云保驾护航