当前位置: www.89677.com > 互联网 > 正文

飞天开放服务,车联网上云最佳实践【www.89677.

时间:2019-09-28 06:29来源:互联网
 全局唯一数字序列 应用系统对数据库的IO读写性能要求高、延时在微秒级以内,认为是高性能要求的,在迁移上云方案上考虑采用ECS(采用本地SSD存储)上直接部署Oracle构建数据库,

 全局唯一数字序列

应用系统对数据库的IO读写性能要求高、延时在微秒级以内,认为是高性能要求的,在迁移上云方案上考虑采用ECS(采用本地SSD存储)上直接部署Oracle构建数据库,具体迁移上云方法:

弹性计算服务(ECS)

弹性计算服务(ECS)为用户提供一个根据需求动态运行的虚拟服务器的环境。对于ECS提供的虚拟服务器,用户可以像使用一台物理机器一样进行各种操作。ECS允许用户根据自己的需要,租用多台虚拟服务器来完成各种任务。在运行的过程中,用户也可以根据计算资源的需要动态增加或减少虚拟服务器的数量。

对于用户来说,弹性计算服务解决了业务的周期性变化带来的资源利用率不高和IT成本高的问题。同时,弹性计算服务还可以减少IT采购的周期,提供数据的可靠存储和可扩展的能力,并可以有效地减少网络安全的威胁。

针对弹性计算服务,阿里云还提供了云监控、云盾和负载均衡这三个产品。

Ø云监控为云服务器提供第三方监控服务,可以及时发现故障并通过多种方式报警,包括网站、Ping、TCP端口、UDP端口、DNS、POP3、SMTP、FTP等监控。云监控除了可以为ECS提供安全有效的监控服务外,还能为其他自由服务器提供监控服务,用户只需要通过简单的配置即可实现各种监控需求。

Ø云盾为云服务器提供一站式安全增值服务,包括安全体检(网页漏洞检测、网页挂马检测)、安全管家(防DDOS服务、端口安全检测、网站后门检测、异地登录提醒、主机密码暴力破解防御)等功能。

Ø负载均衡(Server LoadBalancer,SLB)通过设置虚拟IP,将位于同一数据中心的多台云服务器资源虚拟成一个高性能、高可用的应用服务池,再根据应用特性,将来自客户端的网络请求分发到云服务器池中。SLB会检查池中云服务器的健康状态,自动隔离异常状态云服务器。同时,SLB还可以增强云服务器池的抗攻击能力、安全隔离应用和云服务器。云服务器无须特殊设置即可透明接入SLB。

 

 分布式的实时分析搜索引擎

www.89677.com 1

开放存储服务(OSS)

开放存储服务(OSS)是阿里云对外提供的海量、安全、低成本和高可靠的云存储服务。OSS支持海量的文件存储,同时在多个地方调用呈现,极大地简化了用户数据管理、迁移和更新的工作。用户可以通过简单的RESTful API(RESTful API的介绍参见附录B.1),在任何时间、任何地点、任何互联网设备上进行上传和下载数据,也可以使用Web页面对数据进行管理。OSS目前已经在多个云存储服务、电子商务网站和手机应用网站中使用,提供包括图片、软件和音视频文件在内的存储和互联网访问服务。

在OSS中,用户文件都是以Object的方式存储,每个Object包含名称、数据和用户存储的关于Object的元数据(Metadata)。由于OSS中Object不允许重命名和部分修改,因此,OSS服务适合于存储写一次、读多次的数据,例如,视频、音频、图片和备份文件等。OSS支持对整个Object内容进行替换的修改操作。

OSS的命名空间采用Bucket的方式:每个Bucket中可以存储任意数量的Object,但Bucket本身并不直接包含任何数据。存储在OSS上的每个Object必须都属于某个Bucket,Bucket名在整个OSS系统中具有全局唯一性,且不能修改。如果一个Bucket名已经被某个用户使用,那么其他用户都不能再使用这个Bucket名。OSS目前提供Bucket级别的访问权限控制,包括public-read-write、public-read和private这三种访问权限。

 

日志管理:采用阿里云日志服务解决日志收集,日志分析,日志搜索等问题。

自建的数据库系统,计划将数据迁移至阿里云云数据库,需要阿里云数据库专家评估方案,协助完成数据库迁移工作。云数据库实例间的数据迁移,需要阿里云专业DBA协助完成迁移工作。

阿里云----飞天开放服务

本节从整体上简要介绍飞天开放服务,包括弹性计算服务(ECS)、开放存储服务(OSS)、开放结构化数据服务(OTS)、关系型数据库服务(RDS)、开放数据处理服务(ODPS)和云服务引擎(ACE)。这些开放服务运行在飞天平台内核之上,具有以下一些共同的特点。

Ø全托管式服务:开放服务运行在数据中心的公共云平台之上,用户无须关心硬件设备的采购和软件系统的配置、管理,这些服务以全托管的方式为用户提供直接可用的软件服务。这样,用户可以专注在应用层逻辑的设计与实现,按照实际使用的多少进行付费,因此减少了初期在基础设施上的投入,节省了应用的成本。此外,开放服务还向用户提供详细的资源使用统计、性能指标和操作日志,方便用户调查错误和分析应用的行为。开放服务由阿里云的专业人士进行维护和优化,提供高端的基础设施和网络安全保障,用户无须担心数据备份、故障恢复和扩展升级等方面的问题。

Ø数据安全可靠:开放服务都采用盘古作为底层的存储,所有数据都为多份冗余存储。底层存储系统会自动处理集群中的硬件和软件错误,对用户屏蔽这些错误。此外,用户的数据在存储层完全被隔离,用户对数据的访问必须通过身份验证的机制,有效地保障了用户数据的安全和隐私。

Ø可扩展性:开放服务提供的资源完全可以随着用户使用负载的变化而弹性伸缩,用户只需要专注自身最核心的业务,而不用担心数据量的激增带来的数据可靠性和客户访问的性能问题。例如,在OTS服务中,系统通过对表进行横向切分(Partitioning)来实现规模的扩展,数据均匀地散落到多个存储节点上,可以通过增加机器和调整调度实现服务整体规模的扩展。

基于第二代架构,游族基于OpenStack自己的私有云,最初目标是为了提高服务器利用率、降低成本和实现分钟级开服。运维团队以OpenStack G版为蓝本进行调优并修改;整个网络采用的是VLAN模式,保证最大限度与现有网络架构保持兼容;存储方面使用本地磁盘作为存储。

 为了解决运维自动化问题以及提高运维工作效率,我们改用云上codepipeine 云监控 日志服务 容器服务;

联机分析处理类型系统是数据仓库系统最主要的应用,专门设计用于支持复杂的分析操作,侧重对决策人员和高层管理人员的决策支持,可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理,并且以一种直观而易懂的形式将查询结果提供给决策人员。阿里云针对OLAP类型应用的规模大小有不同的解决方案:

关系型数据库服务(RDS)

关系型数据库服务(RDS)通过Web方式为用户提供可以在几分钟内生成并投入生产的、经过优化的数据库实例,支持MySQL和微软SQL Server这两种关系型数据库,适合于各行业中小企业的关系型数据库应用。使用阿里云的RDS服务能够使得中小企业根据业务规模发展的需要快速部署适合自己的数据库实例,因而无须购买昂贵的硬件和聘用管理维护人员,降低了企业使用数据库的综合成本。

RDS提供的数据库与用户自己搭建的数据库环境和使用方式完全相同,用户只需要使用通用的数据导入导出工具即可直接将已有的数据库迁移至RDS服务中。由于RDS数据库硬件和数据都部署在云端,利用阿里云提供的基础设施、网络安全保障、专业的系统运维维护及热备服务,数据库的备份、恢复和扩展升级等日常管理功能都极大地得到了简化。

以上RDS提供的各项功能及服务都不需要前期投资,用户只需要根据使用量进行付费即可。传统企业自建数据库的方式一般存在设备利用率偏低、不能按需部署、无法快速应对规模变化以及投入成本过高、维护成本高和建设周期过长等问题。而RDS相对于用户自建数据库具有低成本、高效率、高可靠、灵活易用等优点,使企业有更多的时间聚焦于自身的核心业务上面。

RDS与自建数据库对比优势:

传统架构注重于硬件上的高可用,云平台通过分布式架构已经确保自身服务的高可用,并且集成了备份,监控,HA,审计等一系列基础运维服务,云平台采用直接就可用的服务方式提供,使用方随时购买随时就可用,无需考虑一系列繁琐的底层运维,使用方可以更加专注于业务上的研发。

云服务引擎(ACE)

云服务引擎(ACE)是飞天平台提供的一个基于云计算基础架构的网络应用程序托管环境,帮助应用开发者简化网络应用程序的构建和维护,并可根据应用访问量和数据存储的增长进行动态扩展。

ACE支持PHP和Node.js语言编写的应用程序,支持标准的关系型数据库(例如MySQL)、Memcache、Cron、Session和Storage,同时增加一些高级特性来满足开发者的需求。ACE选择PHP作为首选支持语言,ACE的PHP Runtime和官方标准PHP环境几乎完全一样,99%的代码可以不加任何修改就可以完美地运行在ACE环境中。出于安全和性能的考虑,ACE对标准PHP进行了一些扩展和改进。

截至本书出版时,ACE还在开发中,相应的API也没有对外开放。因此,在本书接下来的章节中不单独详细描述ACE,只是在附录D中介绍移动终端云应用开发时,简单介绍云应用怎样利用ACE空间来开发云端服务接口。

 

www.89677.com 2

 

本文节选自《飞天开放平台编程指南——阿里云计算的实践(双色)》

周憬宇,李武军,过敏意编著

电子工业出版社出版

1、游族目前的运维人员数量是多少?

消息队列采用阿里云的消息队列kafka服务,因为之前开源的kafka消息队列也经常遇到各种问题,也没有相应的能力去修复bug,选择阿里云的消息队列服务之后就不用担心这些问题,因为阿里云有一支专家团队在维护它的日常稳定运行,如出现官方bug他们有能力第一时间修复bug。更多关于阿里云消息队列kafka介绍请详见文章附录第8.2小结。

如果考虑到高可用的要求,可以配置一个相同的ECS实例为数据库的备机,主备之间通过Oracle Data Guard做数据同步,当主机宕机后,备机可以接管服务,切换时间通常在分钟级别。

 

HBase集群:采用的是阿里云数据库HBase版

对于应用系统是否可直接迁移上云主要看数据库是否去O,是沿用原有的Oracle数据库还是采用阿里云提供的数据库,主要从以下几个方面判断:

飞天开放服务,车联网上云最佳实践【www.89677.com】。开放结构化数据服务(OTS)

开放结构化数据服务(OTS)是阿里云对外提供的支持海量结构化和半结构化数据存储与实时访问的服务。OTS以表的方式存储数据,保证强一致性。一个用户可以拥有多个表,每个表中包含任意多行数据,每一行又可以包含任意多个列,除主键外的列不需要在创建表时指定。OTS还支持视图、表组和事务等高级功能。用户可以在表中查询、插入、修改和删除数据。用户可以通过RESTful API来使用服务,也可使用Web Portal页面对数据进行管理。

OTS目前在多个互联网应用场景中得到成功的使用,提供结构化数据的存储和实时访问服务。用户使用OTS可以免去雇用专人来管理和维护数据库软件的开销。OTS服务按实际使用量付费的方式也降低了客户的使用成本。用户也无须担心随着应用规模的不断扩大,数据量和并发访问的可扩展性需求,OTS服务通过自动扩展的方式为应用的长期快速发展解决后顾之忧。

在数据恢复方面,通过一键恢复工具,只需要提供恢复的IP、时间段和业务信息(如库名)即可实现数据恢复;24小时内的数据通过本地的数据恢复(结合二进制日志),超过24小时的数据通过异地数据恢复。

2、数据迁移策略

1) 应用层基于ECS部署运行环境,应用程序直接迁移,同时修改应用程序的数据库连接;

开放数据处理服务(ODPS)

开放数据处理服务(ODPS)提供了大规模数据的离线处理和分析服务,它以RESTful API的形式支持基于描述性查询语言SQL的数据处理,并提供MapReduce[12]的并行计算框架。ODPS重点面向数据量大(PB级别)且实时性要求不高的海量数据分析应用,适用于海量数据统计、数据建模、数据挖掘、数据商业智能等互联网应用。

ODPS提供了SQL与MapReduce两种API供用户开发调用。ODPS SQL采用类似SQL的语法来处理大规模(PB级别)数据,适合于处理强调数据吞吐量的离线任务。ODPS SQL 提供了大量操作海量数据的SQL语法支持(API),例如,创建、删除表和视图的DDL语法,更新表的DML语法等。为了方便用户完成数据处理的各类任务,ODPS SQL还提供了很多高级功能,例如,窗口函数、用户自定义函数、存储过程等。与数据库相比,ODPS SQL并不具备数据库的一些特征,包括事务和主键约束。ODPS SQL的优势在于能够快速处理海量数据,它能够将多个SQL语句以它们之间的数据依赖关系组成一个工作流,然后以执行工作流的方式完成复杂的数据分析功能。

ODPS的MapReduce语法与Hadoop[19] MapReduce类似,基于此编程框架编写的程序以一种可靠容错的模式运行在由数千个通用服务器搭建的大规模集群上,能并行处理PB级别的海量数据。与Hadoop上使用的MapReduce相比,ODPS为用户提供了开箱即用(Out-of-Box)的离线数据处理环境,用户在注册ODPS账号以后即可使用。这样,用户可以集中精力于业务逻辑的实现上,而不用关心环境的搭建、配置、监控和调优。

第二步提前同步数据,使用Xtrabackup备份在线把MySQL配置成主从同步模式,将数据同步到阿里云ECS,在一段时间后完成数据迁移。

问题1:海量车机设备的接入导致网络延时高,设备管理困难,安全性差

应用系统对数据库的IOPS性能要求较低且以IO读为主、延时在毫秒级,认为是低性能要求的。在迁移上云方案上可采用在ECS上直接部署Oracle构建数据库,具体迁移上云方法:

分享正文:

更多关于阿里云分布式关系数据库DRDS介绍请详见文章附录第3.5小结。

此外,对于内容管理类型以及大数据应用类型的应用系统,阿里云提供OSS、ODPS、OTS及专家服务,为迁云提供更专业支持。

在迁移到云的过程中,阿里云的技术支持起到了关键作用,线上线下及时沟通,以及特定技术的定制,保证了整个迁移过程的顺利进行。

数据库运维:采用阿里云数据管理DMS,解决数据库运维管理问题

对于数据库性能要求高,但数据规模要求不高的关键应用,可通过引入数据缓存或采用读写分离的方式对RDS做性能扩展。引入数据缓存是采用阿里云Redis缓存服务,将部分查询数据加载至分布式缓存中,减少RDS的数据查询次数,提升系统的数据查询并发效率和降低响应时间。

在游戏迁移过程中,遇到了很多困难,其中一点是选择自建MySQL还是RDS。根据游戏迁移经验,解决该问题,他认为应从以下三个因素进行考虑:

智能车联网平台每天会采集海量车行驶数据,例如车辆发动机状态,驾驶行为,油耗,公里数,行驶轨迹等等,我们需要对这些海量数据进行加工和分析。例如用户每天行驶里程统计,油耗统计,用户驾驶行为月报告等等。因初期数据量相对较小,使用Kettle进行抽取数据等工作,ETL的工作大部分在MySQL数据仓库中完成。多种数据源使用Presto(集群)作为查询中间键进行相应的数据分析。但随着业务的疯狂增长,数据表单表达到数亿后,磁盘容量达几百GB时,数据要求的复杂度逐步提升,使用MySQL作为基础数据仓库的基石已经不足以应付,常出现查询响应时间等待过长,甚至内存崩溃导致执行失败的情况,极大的影响了工作效率。所以云上我们改用阿里云MaxCompute大数据计算服务来构建我们公司大数据开发和分析平台。MaxCompute能够为我们提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效帮助我们公司降低成本,并保障数据安全。Dataworks则提供了一站式的数据同步,数据开发,数据管理和数据运维等功能。更多关于阿里云大数据计算服务介绍请详见文章附录第6.2小结。

迁移周期要求。应用系统去O会带来更长的迁移周期,若对应用系统迁移上云迁移的周期有严格的要求,则可以选择直接迁移上云;

 

1.2负载均衡集群:

读写分离是采用分布式方式实现对数据库的读和写的职能进行分离,写数据请求主要发生在主库,读请求访问只读库,可以根据需求对只读库进行扩展,以实现整体请求性能的提升。

视频回放地址:

据有关机构测试发现一辆联网汽车每小时能收集25GB数据。常规数据库在设计之初并非处理这种规模的数据,关系型数据库处理大数据集的效果非常糟糕;NoSQL数据库可以很好地处理规模数据,但是它比不上一个针对时间序列数据微调过的数据库。相比之下,时间序列数据库(可以基于关系型数据库或NoSQL数据库)将时间视作一等公民,通过提高效率来处理这种大规模数据,并带来性能的提升,包括:更高的容纳率(Ingest Rates)、更快的大规模查询(尽管有一些比其他数据库支持更多的查询)以及更好的数据压缩。有兴趣了解更深层次原因的朋友可以参考这个链接:

1) 应用层基于ECS部署运行环境,应用程序直接迁移,同时修改应用程序的数据库连接;

7、国际节点和国内节点的高可靠链路如何建立?

DRDS 支持分布式柔性事务,保证分布式数据库数据一致性。

2) 数据层基于ECS部署Oracle数据库,Oracle的数据存储采用ECS提供的SSD磁盘。数据库的迁移直接通过RMAN实现快速迁移。

游戏产品架构进化史

www.89677.com 3

对于数据库性能和数据规模要求都高的应用,可通过DRDS实行对数据库性能或规模的扩展。DRDS是通过水平切分的方式,将数据分布在多个RDS实例上,通过并行的分布式数据库操作来实现性能的提升。如下图所示。

李志勇,2010年加入游族网络,目前担任游族网络运维总监,全面负责游族网络运维业务。他具有十年运维工作经验,八年游戏行业从业经验,专注于游戏虚拟化技术和网络优化。

 监控报警

总的来说,通过迁移到RDS、引入数据缓存、分库分表、读写分离等多种方式可以以水平扩展方式取代原有的数据库架构,并且获得更好的性能和扩展性。

 www.89677.com 4

ECS产品根据业务场景和使用场景,ECS实例可以分为多种规格族。同一业务场景下,还可以选择新旧多种规格族。同一个规格族里,根据CPU和内存的配置,可以分为多种不同的规格。ECS实例规格定义了实例的CPU和内存的配置(包括CPU型号、主频等)这两个基本属性。根据此前车联网行业特性来看,前端web应用推荐ecs.c5.xlarge(4核8G)规格实例,而后端应用推荐ecs.g5.xlarge(4核16G)规格实例。

我们以基于Oracle数据库的应用系统上云为例,如何根据实际需求,及不同的应用特征,去选择合适的上云解决方案?看懂了以下这张图,就能找到最适合你的应用系统总体的迁移上云路径。

运维方式的转变

解决方案: MaxCompute Dataworks 云数据库HBase版

系统的复杂度。应用对数据库特征强依赖,以及应用层对数据库的强耦合会导致去O的难度和风险增加。如果去O的难度和风险达到不可控范围,则可以考虑直接迁移上云;

  1. 版本库的版本变更自动触发构建;
  2. 从版本库拉取变更后的版本文件;
  3. 通过构建操作后,推送目标程序到分布式的全局版控服务器集群;
  4. 在作业平台下发更新操作后,UJOBS的agent取得该次更新的版控服务器地址、变更清单以及版本信息;
  5. 从版控服务器拉取更新文件到本地执行预定的更新脚本;

 分布式运维指令集

小规模系统。这类OLAP系统仅仅针对具体某一类业务的历史数据进行实时分析,一般数据在几百GB的规模,分析的数据维度在十几个以内。对于这类应用系统,其数据库直接采用RDS,并在RDS之上构建OLAP分析工具。

答:首先,我对运维这个行业保持很高的兴趣。从游戏对战平台接触运维开始,就愿意持续花时间投入游戏运维,曾耗费两天三夜的时间来处理运维中遇到的故障。当然最初也是从底层的运维人员做起,团队管理是被逼出来的,是一个慢慢成长的过程。在团队中,学习应居于首位,每个运维人员需要不断地学习,提升自己的能力。

  • web应用防火墙 堡垒机;

大规模实时分析。这类OLAP系统面向数据存储规模在100TB级别,单表记录数达到千亿级别,阿里云提供分析数据库服务(Analytic Database Service,简称ADS),可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。还可直接嵌入业务系统为终端客户提供分析服务。

图一:游戏产品架构进化史

2.1 数据库迁移策略

www.89677.com 5

 

www.89677.com 6

性能要求。相对而言,采用直接迁移上云的方式对数据库的性能会有所限制,同时数据库的性能扩展空间有限,所以选择直接迁移上云方式的应用必须考虑在规划的系统运行周期内性能上无较大规模的扩展要求。

答:目前游族使用OpenStack仅限于机房,短时间内不会与社区版本同步,机房内修改和使用都很简单,整个OpenStack定制和修改不多,更多着重于框架的使用。

 迁移时间:推荐在业务流量最低峰时段例如每天0点至5点

2) 数据层基于ECS部署Oracle数据库,Oracle的数据存储采用ECS提供的云磁盘。数据库的迁移直接通过RMAN实现快速迁移。

 

www.89677.com 7

联机事务处理类型应用属于业务交易型系统,在各个行业内占有绝大多数比重。对于OLTP中低性能要求的通用应用,数据库可直接采用RDS。在实际迁移上云过程中涉及到数据库从Oracle向RDS的MySQL数据库的迁移。为了得到更好的性能,需要对待迁移系统所使用的Oracle特性进行转换,以适配RDS数据库,进行应用系统代码改造。

 

DRDS 提供独有分布式数据库运维指令集,如 SHOW SLOW、TRACE、SHOW NODE 等指令,有助于快速发现和定位问题。

迁云项目耗时耗力,迁移改造效率很低。阿里云专家提供上云全方位服务,降低上云技术风险和资源成本。包括在线业务系统上云、离线业务大数据上云、技术支撑、应用上云实施、数据迁移实施、大数据实施等。

 

缓存集群采用阿里云数据库Redis版,传统自建Redis数据库通常存在集群节点扩容复杂,管理维护难等问题。所以我们改用云上数据库 Redis 版来替代,它具有性能卓越,弹性扩容,数据安全性高,可用性高,秒级监控,简单易用等优势。云数据库Redis版支持按量付费和包年包月两种模式,按量付费可转为包年包月模式,反之则不可以。可根据自己的需求自主选择更多关于云数据库Redis介绍请详见文章附录第3.2小结。

高可用要求。采用直接迁移上云方式是在ECS上部署Oracle数据库环境,数据库的高可用由用户来保障;若采用阿里云产品,则数据库的高可用可有阿里云保障。所以,直接迁移上云后数据库的高可用级别是否能够达到实际应用的运行要求也是判断应用是否直接迁移上云的重要方面。

分享内容:主要包括采用混合云,进行产品比价跟价;进一步提升精准运营并提升产品竞争力;并结合大数据分析,根据用户喜好和个性数据,推荐性价比高的产品。

 分库分表

对于传统应用系统,其原有的架构设计和采用的数据库、中间件与阿里云产品存在较大的差异,对于这种情况,需要对原有应用系统进行改造后迁移上云。针对不同类型的应用系统,其改造的方案也有所不同,一般将应用系统分为OLTP类型、OLAP类型、内容管理类型以及大数据应用类型四个大类。

图二:UJOBS架构及其游戏更新流程

负载均衡实例规格选型:

摘要: 我们以基于Oracle数据库的应用系统上云为例,如何根据实际需求,及不同的应用特征,去选择合适的上云解决方案?看懂了以下这张图,就能找到最适合你的应用系统总体的迁移上云路径。

干货推荐:如何运维千台以上游戏云服务器——游族网络

Node.js环境:采用Centos7 Node8.9.3

游族作业平台UJOBS

DRDS 支持分布式全局唯一且有序递增的数字序列。满足业务在使用分布式数据库下对主键或者唯一键以及特定场景的需求。

相对于游戏版本更新备份而言,数据库备份更为重要。ALL IN ONE模式或者非集群模式的游戏业务场景下,会存在多达好几千个MySQL实例,若是要按常规的MySQL备份方案来实施,管理难度和成本都要翻好倍。因此游族网络采用Xtrabackup在主库上直接备份数据文件方式,备份文件暂存本地;本地备份完成后在备份系统选举一台远程服务器进行异地备份;备份策略每小时一次备份,半小时本地备份半小时远程备份。该备份方法在单主库业务场景下可能是最靠谱的数据备份方案,但备份过程对主库会有影响、(限制IO操作),最坏情况下可能出现1小时的数据丢失(业务接受少量的数据丢失)。

综合性能对比

 

  • HBase;

与三代架构相互对应是游族运维的三个阶段:

www.89677.com 8

 

1.9文件存储集群:

系统化运维过程中使用的作业平台(UJOBS)是属于C/S的架构,其核心部分由任务调度器和agent组成,通过调用API接口完成多种形式的指令下发。UJOBS简单的来说是为服务器管理提供了执行命令的通道,将所有的执行命令和脚本在目标服务器横向执行完,把输出结果记录日志里面,同时可通过WEB界面实时查看分析。任务调度器是用来全局策略控制,进行并发量控制。任务列表里面保存任务的完整信息。指令仓库保存常用的命令个脚本和上下文关联的命令组合。

DTS 是阿里云提供的一种支持 RDBMS(关系型数据库)、NoSQL、OLAP 等多种数据源之间数据交互的数据流服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。通过数据传输可实现不停服数据迁移、数据异地灾备、异地多活(单元化)、跨境数据同步、实时数据仓库、查询报表分流、缓存更新、异步消息通知等多种业务应用场景,助构建高安全、可扩展、高可用的数据架构。

 

域名管理:采用阿里云域名服务,一站式解决域名购买,管理,备案等问题。

 

我们云上新的应用架构即会兼容部分老应用架构的特性,同时会采用云上新技术和云上产品来解决我们曾经的痛点和瓶颈。并且云上新架构需要满足未来2-3年的业务发展规划,能够支撑千万级用户规模的应用系统架构。下图为云上应用架构图。

 

答:在游族之前的架构中,游戏日志是分开存储,易丢失。在新的架构中,通过Log服务将游戏日志搜集到大数据计算服务MaxComputer,对后续的游戏和运维数据分析提供便利支持。

www.89677.com 9

 

 透明读写分离

  

MySQL集群:采用的是阿里云数据库RDS之MySQL版

3.成本核算:从实例规格来看RDS会比ECS自建MySQL要贵,但若是必须用到RDS的某些特性(如:数据安全和稳定性)时成本也就不会放在首要位置了。

阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。它具有与平台无关的RESTful API接口,能够提供99.999999999%(11个9)的数据可靠性和99.99%的服务可用性。可以使用阿里云提供的API/SDK接口或者OSS迁移工具轻松地将海量数据移入或移出阿里云OSS。数据存储到阿里云OSS以后,推荐选择标准类型(Standard)的阿里云OSS服务作为移动应用、大型网站、图片分享或热点音视频的主要存储方式,也可以选择成本更低、存储期限更长的低频访问类型(Infrequent Access)和归档类型(Archive)的阿里云OSS服务作为不经常访问数据的备份和归档。更多关于阿里云对象存储服务OSS介绍请详见文章附录第4小结。

 

阿里云数据库 MySQL 版是基于 Alibaba 的 MySQL 源码分支,经过双 11 高并发、大数据量的考验,拥有优良的性能和吞吐量。除此之外,阿里云数据库 MySQL 版还拥有经过优化的读写分离、数据压缩、智能调优等高级功能。当前 RDS for MySQL 支持 5.5、5.6 和 5.7 版本。请详见文章附录第3.1小结。

图三:新游戏上阿里云部署方案

 为了解决日常以及节假日流量高峰的问题,我们改用云上弹性伸缩服务 按量付费,以最低的成本完美解决日常及节假日流量高峰;

 

DTS 支持多种数据源类型,例如:

通过底层优化后,游族私有云基本上可以满足业务的需求,目前90%游戏业务运行在上面,虚机规模持续保持在10000台以上,游族私有云平台没有提供WEB管理界面,日常所有的操作都是通过命令行和脚本的形式进行操作,但对于虚拟机的增删查改,重新封装了一层简洁的API接口实现与游族运维平台的对接。经过评估测验,在高峰时期,整个私有云资源利用率可达到83%

www.89677.com 10

 

1.7流计算集群:

答:ALL IN ONE架构下,在一个MySQL实例中只运行一个业务;在集群架构下,在单DB实例下,会运行多个业务,分布式DB架构也相应是必备的。

使用CDN后的http请求处理流程如下图

 

1.3应用服务器集群:

**************************************************************************************

![20180831141508]()

 

1.10 大数据计算平台

 

 为了解决存储性能瓶颈以及用户访问体验问题,我们改用云上对象存储OSS服务 CDN;

第三步正式迁移,正常的游戏停服维护时间(0.5~2小时)就可完成业务上阿里云的迁移。目前已经平滑完成3款游戏产品的迁移,每款产品准备时间3~5天,正式迁移用时1~2小时,在阿里云平台使用的虚机超过1000台。

云上流计算采用阿里云的流计算服务,相较于其他流计算产品,阿里云流计算提供一些极具竞争力的产品优势,用户可以充分利用阿里云流计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。产品优势,例如强大的实时处理能力、托管的实时计算服务、良好的流式开发体验、低廉的人力和集群成本。更多关于阿里云流计算介绍请详见文章附录第6.1小结。

关于分享者:

产品选型

 

以前的老万网被阿里云收购之后,变更为阿里云域名服务,它集域名注册、交易、解析、监控和保护为一体的综合域名管理平台。更多关于域名服务介绍请详见文章附录第5.6小结。

 

6) 应用服务器给OSS返回。

主题:《基于混合云的OTA比价系统、精准运营和大数据用户推荐》

应用服务器采用阿里云ECS云服务器,来部署应用环境。之前提到运行环境主要为JAVA环境和PHP环境,还有少部分Node.js环境。

  

www.89677.com 11

  1. 在第一代架构上,运维基本是手工运维,技术含量并不高,纯粹是采用人与时间堆积进行,运维同学需要登录每一台服务器,顺序执行相关的命令和脚本。独立的版控服务器,通过主动推送的形式进行版本更新;
  2. 在第二代架构上,通过自动化工具进行批量运维,团队推出了使用expect写的auto批量脚本,所有操作只需登录一台集控服务器执行批量并发操作的脚本,独立的版控服务器,通过并行的主动推送;
  3. 在第三代架构上,可以实现系统化运维,多个运维系统相互协调配合实现,例如:CMDB、业务树、作业平台等。游戏区组搭建的时间基本上可以忽略(可按需求实现按条件触发或手动触发搭建操作),所有的更新操作在WEB管理平台就可完成。

阿里云高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 是一种高性能,低成本,稳定可靠的在线时序数据库服务;提供高效读写,高压缩比存储、时序数据插值及聚合计算,广泛应用于物联网(IoT)设备监控系统 ,企业能源管理系统(EMS),生产安全监控系统,电力检测系统等行业场景。

 

上图为ALL IN ONE架构迁移在阿里云后的游戏部署:游戏逻辑运行在ECS上,业务中使用VPC网络,通过自建的ULB对外提供服务。游族网络下一步计划将集群模式部署在阿里云平台上,游戏逻辑将在ECS集群运行,后端数据存储在RDS集群中,前端通过SLB和负载均衡保证业务高可用,同时会接入LOG和大数据计算服务MaxComputer确保大数据业务。

 商业版X-pack插件,提供企业级权限管控、实时系统监控等强大服务

同时在UJOBS执行的过程中可实时查看输出的日志。当游戏版本更新出现异常,有两种回滚方式:第一种,游戏服务器上保留历史版本,异常时回退到历史版本;第二种,覆盖回滚,将老版本再次发布进行回滚。

本文为云栖社区原创内容,未经允许不得转载。返回搜狐,查看更多

 

 为了解决负载均衡以及网络扩容瓶颈,我们改用云上SLB;

 

www.89677.com 12

答:游族网络最初运维团队在二十人以上,经过技术优化后,目前团队人数在十人左右。从原来的十几款产品到现在的三十几款产品,运维业务量增长一倍,整个运维团队人员缩减一半。团队不断将技术转化为生产力,这是一个持续推进的过程。

3) 用户直接向OSS发送文件上传请求。

4、在新方案中,大数据计算服务MaxComputer的应用场景是什么?

 迁移工具:推荐阿里云数据传输服务DTS

 

1.5缓存集群:

 

 为了解决大数据存储瓶颈以及降低大数据开发分析工作难度,我们改用云上MaxCompute

与此同时,大数据量的自建MySQL可以采用延时同步的方法,此方法已在游族网络的女神联盟(手游)的集群架构方案中在使用。游族运维团队独创的数据备份系统、UJOBS、业务网关等独具特色解决方案确保了其业务量在行业内处于领先地位。

 为了解决大规模的车机上报而导致数据写入延迟问题我们改用云上IOT套件 HiTSDB;

第一步提前准备资源,在阿里云提前申请好资源,初始化环境并把VPC与自有机房的网络打通,实现内网互通为数据同步做好准备;

 分布式事务

 

作者:云攻略小攻

来自行业CTO的深度实践分享, 第3期在线培训直播报名开始!

 分布式的实时文件存储,每个字段都被索引并可被搜索

QA环节:

www.89677.com 13

在UJOBS平台上,游戏版本更新流程如下:

www.89677.com 14

 

 为了解决我们自建IDC底层基础设施可靠性差的问题,我们改用云计算服务,基础设施可靠性,异地容灾,数据备份,数据安全等问题再也不用担心;

报名地址:

阿里云容器服务提供高性能可伸缩的容器应用管理服务,支持用 Docker 和 Kubernetes进行容器化应用的生命周期管理,提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作,整合了阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器运行环境。阿里云容器服务可以提供一站式容器生命周期管理以及集群管理。更多关于阿里云容器管理介绍请详见文章附录第5.5小结。

 

为了解决负载均衡以及网络扩容瓶颈,我们改用云上SLB负载均衡。阿里云的SLB负责均衡提供四层(TCP协议和UDP协议)和七层(HTTP和HTTPS协议)的负载均衡服务。四层采用开源软件LVS实现负载均衡,并根据云计算需求对其进行了个性化定制。七层采用Tengine实现负载均衡。Tengine是由淘宝网发起的Web服务器项目,它在Nginx的基础上,针对有大访问量的网站需求,添加了很多高级功能。更多关于阿里云负载均衡介绍请详见文章附录第2.2小结。

 

原标题:车联网上云最佳实践(二)

云上迁移历程

1.8数据存储集群:

现在游族已经将几款老游戏迁移到阿里云上。在将ALL IN ONE架构平滑迁移到云上的过程中,首先要求就是迁移过程不能长时间停服,只能接受正常的版本更新的停服时间。整个迁移过程分为以下几步:

7) OSS将应用服务器返回的内容返回给用户。

 

传统架构中的MongoDBS用来存储车辆上报的原始数据的,这些数据通常情况下写多读少,原始数据的保存可以有利于特殊情况对问题的追溯。或者是数据丢失的情况下可以用原始数据来进行弥补。原来MongoDB集群在达到一定规模之后性能出现断崖下降,因为对MongoDB掌握不够深,没有正确使MongoDB导致。这里改用云上数据库HBase版来替换原来的MongoDB集群。HBase的高并发大数据量等特性非常适合海量数据存储,业务大屏,安全风控,搜索等场景。

来自上海游族网络的运维总监李志勇,在3月4日云栖社区中带来的分享“如何运维千台以上游戏云服务器”。本次分享重点是云时代的运维,包括游戏上云部署整体方案、游戏服务器批量运维管理,并对企业选择RDS还是自建MySQL数据库给出了自己建议。

解决方案:阿里云高性能时间序列数据库HiTSDB,解决海量数据写入延迟问题。

 

1.12 尝试新产品解决老问题

答:该链路使用的基本资源是遍布全球的阿里巴巴骨干网,阿里云是将自己的资源分享出来给使用VPC的客户,实现国内外高可靠链路的建立。

分布式服务集群,延用Dubbo ZooKeeper分布式服务框架。采用7台8核16G SSD磁盘200G ecs.c5.2xlarge规格ECS实例用于构建zookeeper集群。Zookeeper集群节点必须是奇数,因为在zookeeper集群中只要有超过一半的机器是正常工作的,那么整个集群对外就是可用的。

  • 公司早期广泛使用的第一代架构,当时主流的产品都是以DB 计算 前端这样的3个角色开发设计并部署,服务器以物理机为主,一个游戏区组需要2~4台服务器,不同的机器承担不同的角色。这种架构方案效率低,基本上不可能实现一天开100个区组(100个区组大概需要400台服务器);
  • 随着业务量的增长和虚拟化技术广泛使用,游族整体游戏架构更新为第二代架构,全面采用虚拟化技术,把一台高配的物理机器虚拟化成多台符合游戏需求的虚拟机来使用,并实现了ALL IN ONE的系统架构。该架构方案运维效率高,适合规模开展游戏运营,但不具备业务高可用特性,一天开100个区组成为常态;
  • 为了迎合大区大服、全球同服,游族融合了前两代架构的特点,推出了第三代架构,按角色分拆并形成服务集群模式。集群架构结合了物理机与虚拟化的优势,实现弹性扩容,游戏逻辑以服务进程或集群配置项的形式提供服务。该架构方案运维效率更高,可实现秒级开服同时具备业务高可用特性。

支持 RDS/MySQL 的分库分表,在创建分布式数据库后,只需选择拆分键,DRDS 就可以按照拆分键生成拆分规则,实现数据水平拆分。

 

阿里云分布式关系型数据库服务专注于解决单机关系型数据库扩展性问题,具备轻量(无状态)、灵活、稳定、高效等特性,是阿里巴巴集团自主研发的中间件产品。DRDS 兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。DRDS 主要应用场景在大规模在线数据操作上,通过贴合业务的拆分方式,将操作效率提升到极致,有效满足用户在线业务对关系性数据库要求。DRDS提供了丰富的功能:

答:游族网络的产品绝大多数都是使用的MySQL,有少数产品使用了Mongodb,因为量少暂时还是通过手工管理;缓存业务有使用Redis但不存储关键数据,Redis的数据备份使用数据备份系统进行集中管理,所有的软件部署都是通过标准化的业务模板进行管理的。

5) 如果应用服务器返回成功,那么就返回用户成功,如果应用服务器返回失败,那么OSS也返回给用户失败。这样确保了用户上传成功的照片,应用服务器都已经收到通知了。

经过近七年的高速发展,公司游戏服务器从100台增长到10000 台,游族整体游戏架构也经过了三个阶段的演变:

文件系统迁移改造方案请看2.2章节。

如何去选择合适的数据库?

为什么我们不自建HBase而选择云数据库HBase呢?云HBase和自建www.89677.com 15

3、DB除了MySQL还有其他类型吗?比如NoSQL这类数据库是如何管理和部署的?

物联网套件是阿里云专门为物联网领域的开发人员推出的一站式设备管理平台。性能强大的IoT Hub方便设备和云端稳定的进行双向通信;全球多节点的部署让全球设备都可以低延时与云端通信;多重的防护能力保障设备云端安全;功能丰富的设备管理能力帮助用户方便进行远程维护设备;稳定可靠的数据存储能力方便海量设备数据存储和实时访问。物联网套件还提供规则引擎与阿里云众多云产品打通,用户通过规则引擎只需在web上配置规则即可实现数据采集 数据计算 数据存储等全栈服务,灵活快速的构建物联网应用。更多关于阿里云IOT套件介绍请详见文章附录。

1.实例数量:实例数量多且业务规模小(无需进行针对性的优化)适合自建MySQL服务;实例数量不多业务相对会比较集中,数据库负载较高需要针对性的进行优化适合使用RDS服务;

1.4分布式服务集群:

www.89677.com 16 

另外选择用堡垒机来替换原来的开源堡垒机,相比开源的产品,阿里云堡垒机多了一些审计合规,高效易用,多协议支持,追溯回放等功能。

直播时间:2016年3月11日上午10:00-11:00 (含问答环节)

1.6消息队列集群:

 

www.89677.com 17

 www.89677.com 18

统一配置:采用阿里云应用配置管理,传统IDC架构中我们的应用因为微服务架构的需要全部采用了的统一配置管理,将配置中心化管理,保存在zookeeper当中,通过一个web前端进行配置管理。应用通过本地客户端向服务端请求配置。这样做的好处是应用配置可以集中存放,统一配置,方便管理。但是我们的web配置管理中心提供的功能比较简单,甚至不具备权限管理,配置快照,备份和恢复等功能。在云上我们改用阿里云的应用配置管理ACM产品。云上应用配置管理是一款在分布式架构环境中对应用配置进行集中管理和推送的应用配置中心产品。基于该应用配置中心产品,可以在微服务、DevOps、大数据等场景下极大地减轻配置管理的工作量,增强配置管理的服务能力。阿里云ACM 是分布式系统的配置中心。通过提供配置变更、配置推送、历史版本管理、灰度发布、配置变更审计等配置管理工具,ACM 帮助集中管理所有应用环境中的配置,降低分布式系统中管理配置的成本,并降低因错误的配置变更带来可用性下降甚至发生故障的风险。更多关于阿里云应用配置管理ACM介绍请详见文章附录以及官方网站。

 

 数据存储平滑扩容

 

NoSQL:MongoDB、Redis 。

 

安全这块以前IDC机房的时候防范能力比较弱。为了解决安全防御瓶颈,我们改用云上云盾 DDOS高防IP

幻灯下载地址:

成本对比

数据库备份与恢复

www.89677.com,2) 应用服务器返回上传policy和回调。

2、从运维小白到总监的成长过程?

一般情况我们的业务数据库都是有主备的,那么选择从数据库作为源数据库对云上数据库进行同步,这样做的目的是为了减少对主库的影响,有条件的话选择单独的从数据库专门用作对云上数据库进行全量同步迁移。完了之后再切换到主数据库开启增量数据同步(利用DTS可以轻松完成数据库的增量同步)。这样就可以保证线下数据库和线上数据库的一致性了。具体迁移步骤请参考官方文档:

 

传统自建Elasticsearch集群存在性能不足,集群节点扩容复杂,管理维护难度大等问题,因此我们改用云上Elasticsearch服务,它具有丰富的预置插件(IK Analyzer,pinyin Analyzer,smart Chinese Analysis Plugin,Mapper Attachments Type plugin等等),还包括集成X-pack插件提供企业级权限管控,实时监控等强大功能。它的特点和优势如下:

2.数据大小:数据量的大小会直接影响到数据库性能和数据备份的机制,数据量越大越需要对数据库进行精细化管理,数据的备份难度也越大,这种情况下建议使用RDS服务,反之可自建;

2.2 文件系统迁移策略

6、游族私有云是用的OpenStack,本身组件很多,后续和公有云之间如何衔接的?

云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。阿里集团在10年开始研究HBase并使用在生产之中,目前阿里集团有10000台左右的HBase机器,数百个集群,服务数百个业务。是一款久经沙场的大数据产品。

分享者:驴妈妈副CTO邵汉成

DRDS 支持类单机 MySQL 账号和权限体系,确保不同角色使用的账号操作安全。

5、数据库的部分是单DB多实例吗?有没有启用分布式DB的架构呢?

问题3:车联网行业是典型的大数据行业,有大量的大数据分析应用场景需求,但是自建大数据平台成本高,维护困难,大数据人才不好招。

 

 为了解决安全防御瓶颈,我们改用云上云盾 DDOS高防IP web应用防火墙 堡垒机;

 

利用阿里云OSS存储代替原来的自建NFS文件系统,优势很明显:

 数据库账号权限体系

1.11运维管控集群:

用户的请求逻辑:

CDN的工作原理就是将源站的资源缓存到各地的边缘节点服务器(CDN节点)上,用户请求访问和获取资源时,就近调用CDN节点上缓存的资源。这种分布式数据传输方式,使得用户请求的资源不需要都回源站获取,从而避免网络拥塞、分担源站压力,保证用户访问资源的速度和体验。

通过使用 RDS 只读实例或者 MySQL 备机实现读写分离,帮助应用解决事务、只读实例或者备机挂掉、指定主备访问等细节问题,对应用无侵入,在 DRDS 控制台即可完成读写分离相关操作。

HBase主要优势有两点:1)扩展性要强,HBase是专门的列式数据库,具有高并发,低时延的处理能力,支持数据从200G~10PB都适合。数据存储在HDFS,默认具备多副本可靠性和自动扩展能力。2)HBase是天生的hadoop生态系统中的组件,选择HBase,就是选择整个Hadoop生态。云HBase自带的Phoneix组件,支持SQL能力,二级索引等,非常适合IoT实时业务,并且支持带少量更新的TP操作。HBase和MapReduce,spark天然的结合,同一份数据,支持实时业务的同时,可以完成大数据的分析,以及还有时序组件OpenTSDB等。更多关于云数据库HBase介绍请详见文章附录第3.4小结。

 为了降低上云迁移复杂性,我们改用云上VPC虚拟专用网络,IP地址可以和原来保持不变;

 服务升降配

我们对传统IDC应用架构进行分析之后,我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点,为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

关于DDOS高防IP和web应用防火墙产品介绍请详见文章附录第7.1&第7.2小结。

 为了解决数据迁移的稳定性和便捷性,我们采用阿里云数据迁移工具DTS;

弹性扩容:采用阿里云弹性伸缩ESS,低成本解决日常以及节假日流量高峰问题。

摘要: 我们对传统IDC应用架构进行分析之后,我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点,为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

www.89677.com 19

 为了解决单台数据库性能扩展瓶颈,我们改用云上的DRDS分布式关系数据库;

 Elastic官方技术支持团队7*24小时技术支持

关系型数据库:Oracle、MySQL、SQLServer、PostgreSQL 、RDS For PAAS、DRDS、PetaData、OceanBase。

云上对标架构及技术详解

根据当前业务量来看五百万用户,最高峰期间并发最大连接为50万,推荐使用

数据库迁移是整个上云过程中最重要的一环,难度也最大,因为我们在迁移的时候要尽可能的减少业务本身的影响,最好是不停机不中断现有业务。需要制定非常详细的计划和迁移策略:

DRDS 支持对核心资源指标和数据库实例指标的实时监控和报警,如实例 CPU、网络 IO、活跃线程等,帮助实时发现资源和性能瓶颈。

性能保障型规格5(slb.s3.medium)最大连接数50w,每秒新建连接数5w,QPS支持3w。完全满足当下的企业需求,如果后续业务和用户规模继续增长,仍然可以在线扩容到更高级别规格的SLB实例。如果未来达到千万级用户规模,需要大于100万规格的实例可以联系阿里云客户经理开通。

有2种方式快速构建应用运行环境:

OLAP:ODPS、ADS、流计算。

 可弹性扩展到上百台服务器规模,处理PB级结构化或非结构化数据

为什么说时间序列数据库能解决呢?

持续集成:传统应用升级发布主要靠的人肉升级或者脚本升级,后来尝试过利用开源的Jenkins docker方式构建一个简单的应用发布系统,我们希望到云上可以继续保持这种发布方式,所以改用云上CodePipeline,阿里云CodePipeline是一款提供持续集成/持续交付能力,并完全兼容Jenkins的能力和使用习惯的SAAS化产品。它无需运维,开箱即用,全量兼容Jenkins插件,支持ECS,容器服务持续部署,快速上手。更多关于codepipeline介绍请详见文章附录第5.9小结。

可以通过配置DDoS高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠。DDoS攻击防护峰值带宽 20 Gbps ~ 300 Gbps 。同时,提供按天弹性付费方案,按当天攻击规模灵活付费。

2) 购买ECS云服务器后直接选择云市场的已经封装好的应用环境镜像即可。

解决方案:阿里云分布式关系型数据库服务DRDS

容器管理:采用阿里云容器服务,一站式解决容器生命周期管理及集群管理问题。

阿里云数据管理支持MySQL、SQL Server、PostgreSQL、MongoDB、Redis等关系型数据库和NoSQL的数据库管理,同时还支持Linux服务器管理。它是一种集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。更多关于阿里云数据管理DMS介绍请详见文章附录第5.8小结。

 支持IK analyzer插件

大数据计算平台:采用阿里云大数据计算服务

责任编辑:

 迁移方法:

云盾Web应用防火墙可以防御SQL注入、XSS跨站脚本、常见Web服务器插件漏洞、木马上传、非授权核心资源访问等OWASP常见攻击,并过滤海量恶意CC攻击,避免网站资产数据泄露,保障网站的安全与可用性。

数据可视化:采用DataV, 解决了运维大屏,监控大屏没有UI设计问题 企业多多少少有些大屏,在公司接待参观考察工作时展示企业形象,企业运营,以及系统运行情况等。为了提升企业形象,有必要针对数据可视化部分进行美化。阿里云的DataV 可以帮助非专业的工程师通过图形化的界面轻松搭建具有专业水准的可视化应用,让更多的人看到数据可视化的魅力。DataV 提供了丰富的可视化模板,极大程度满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。更多关于阿里云DataV数据可视化介绍请详见文章附录第5.2小结。

当出现数据存储容量和访问量瓶颈时,DRDS 支持在线存储容量扩展,扩容无需应用改造,扩容进度支持可视化跟踪。

1) 购买ECS服务器后安装操作系统,然后手动部署应用环境,最后将应用环境构建成新的系统镜像。

1.1安全:

解决方案:阿里云物联网套件(iot套件),解决大规模车机管理,数据上报问题。

1) 用户向应用服务器取到上传policy和回调设置。

问题4:单机MySQL数据库遇到IO性能瓶颈和容量扩容瓶颈,如果业务和用户规模继续增长将面临单机数据库扩展困难。

原来自建的NFS文件系统,在扩展和访问速度方面随着文件数量的增加响应也越来越慢,这一块采用阿里云的OSS CDN解决方案,应用也需要进行小小的改造。

1、云上对标架构介绍

在车联网行业中有个比较明显的行业特性就是早晚高峰是平时流量的3倍甚至更高,但是平常要应付这么高并发的流量意味着资源投入也要3倍以上。在传统IDC架构中,我们通常是按照平常最高峰流量的1.2倍(1.2倍是为应对特殊情况预留的buffer)来准备相应的服务器资源,在平时资源闲置比较明显,资源利用率不到30%,意味着平常可能100台应用服务器就足够了,但是为了应对高峰流量不出问题我们需要准备360台服务器应对6个小时的高峰流量,其余18小时可能只需要100台服务器。为了确保系统稳定,提升用户体验,当时我们只能投入比平时多几倍的服务器资源。所以在云上我们采用阿里云弹性伸缩服务,它是一种根据业务需求和策略,自动调整其弹性计算资源的管理服务。在满足业务需求高峰增长时无缝地增加ECS实例,并在业务需求下降时自动减少ECS实例以节约成本。更多关于阿里云弹性伸缩服务介绍请详见文章附录第1.2小结。

之前采用的是自建NFS文件系统用于存储图片和文件。随着文件越来越多,图片访问速度越来越慢,搬到云上之后,可以利用阿里云的OSS和CDN服务,构建如下的web端直传OSS存储方案,架构如下:

HiTSDB 提供百万级时序数据秒级写入,高压缩比低成本存储、预降采样、插值、多维聚合计算,查询结果可视化功能;解决由于设备采集点数量巨大,数据采集频率高,造成的存储成本高,写入和查询分析效率低的问题。后续文章会详细介绍HiTSDB性能测试内容。更多关于HiTSDB介绍请详见文章附录第。

阿里云大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。

问题2:车联网大多应用场景对数据实时性要求非常高,但是目前在数据采集过程中由于数据库写入性能不够,经常出现大量数据写入延迟情况。

Elasticsearch集群:采用阿里云的Elasticsearch

文件存储:采用阿里云对象存储OSS

Java环境:采用Centos7 JDK1.7 Tomcat7

阿里云日志服务是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。具有全托管,实时性强,生态丰富,完整API等特点。更多关于阿里云日志服务介绍请详见文章附录第5.7小结。

自建和服务更多的对比 ,可以参考以下文章:

OSS服务 配合CDN 服务一起使用,则可以加速文件存储和访问速度,提升用户访问体验。

DRDS 实例可以通过改变资源数量实现服务能力的弹性扩展。

4) 等文件数据上传完,OSS给用户Response前,OSS会根据用户的回调设置,请求用户的服务器。

阿里云CDN在全球拥有1300 节点,国内完整覆盖 34 个省级区域,大量节点位于省会等一线城市。海外覆盖70 多个国家和地区。阿里云所有节点均接入 万兆 网卡;具备 90 Tpbs 带宽能力储备。单节点存储容量达 40 TB-1.5 PB,带宽负载达到 40 Gbps-200 Gbps。

之前的传统运维,基本都是靠人肉运维,脚本运维,运维自动化程度很低,导致故障频发,故障定位难,我们的运维同学大量时间花在了重复的升级发布工作上,花在了填坑以及解决故障上,长此以往运维同学自身发展受限,信心受挫,人员流失比例高的恶性循环的结果。我们迫切希望这种状况可以得到较好的解决。对比之前大量采用开源的监控工具相比,大部分阿里云的产品本身就自带web控制台,也有一些比较实用的运维管控产品,例如云监控,堡垒机,数据管理,数据迁移,容器服务,域名等等。以前的运维痛点可以通过阿里云的运维产品可以很好的得到解决。

![1]()

PHP环境:采用Centos7 PHP5.6.11

监控系统:采用阿里云监控服务,传统IDC架构中我们的监控系统是自建的zabbix监控系统,随着公司业务快速发展,监控项也急剧增加,由最初的500个监控项增加到3w个监控项,监控系统数据库性能跟不上,查询很慢,告警延迟和误报的现象逐渐增多,监控需求越来越多样化,定制化。传统监控系统已经不能满足未来业务高速发展。 所以我们云上改用云监控,云监控是一项针对阿里云资源和互联网应用进行监控的服务。云监控服务可用于收集获取阿里云资源的监控指标,探测互联网服务可用性,以及针对指标设置警报。云监控对用户提供Dashboard、站点监控、云产品监控、自定义监控和报警服务。更多关于云监控介绍请详见文章附录第5.1小结。

同时,DataWorks 和 MaxCompute 关系紧密,DataWorks 为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,帮助企业专注于数据价值的挖掘和探索。普通开发人员也可以胜任大数据开发任务。

编辑:互联网 本文来源:飞天开放服务,车联网上云最佳实践【www.89677.

关键词: www.89677.co www.89677.co