aws云计算平台工作使用中的心得

author author     2022-08-08     340

关键词:

笔者简介

余洪春(抚琴煮酒)运维架构师、高级运维开发工程师,《构建高可用可Linux服务器》、《Linux集群和自动化运维》作者,ChinaUnix论坛“集群和高可用”及“监控及自动化运维”版版主。从事云计算和电子商务网站运维工作10多年,在Linux集群、自动化运维、云计算及高并发高流量网站架构设计等方面进行了深入的研究,在大量一线实践中积累了丰富的经验.精通负载均衡高可用和自动化运维技术,擅长高并发高流量网站系统架构设计。

 

笔者目前所在公司的海外业务平台由于牵涉到多机房布点和成本的考虑,目前基本上采用的是AWS云计算平台,产品线涉及到了EC2/EBS/S3/Redshift等,目前平台已经稳定运行几年了,在使用过程还是有不少心得和感想的,特地做了些总结跟大家一起分享下,对AWS有兴趣的同学也可以关注下。

 

作为一个老运维,还是对AWS强大的控制台功能还是很惊异的,控制台提供的功能是非常强大的,小到系统的AMI镜像备份恢复,用户的IAM权限分配,然后Instance机器种类和外置磁盘EBS的选型,大到分布式S3的文件存储功能,AWS强大的控制台都提供了相应的功能。如果不喜欢用图形界面操作的话,喜欢自动化运维的同学,AWS也提供了强大的BOTO3接口(基于Python),同学们也可以利用Python脚本来进行相关的服务器后台程序开发工作。

 注:通过适用于 Python AWS 开发工具包 boto3 快速开始使用 AWSBoto3 可以支持您轻松将Python 应用程序、库或脚本与 AWS 服务进行集成,包括 Amazon S3Amazon EC2 Amazon DynamoDB 等。(创建AWS免费帐户

 

另外,AWS控制台有些功能是非常人性化的,比如我通过控制台购买了一年的c3.xlarge4 vcpu+ 7.5内存)预留实例(预留实例是一种比较节约的计费方式,通常为以年为计费单位,比单独购买一般要便宜35%左右),但在使用过程过程中,我发现业务量不需要c3.xlarge这样高性能的机器,那我们可以通过修改预留实例的方式,将其分离成2台性能稍弱的c3.large,这样剥离出来的一台c3.large机器就可以多出来跑别的业务了。

 

另外,AWS的产品线是非常丰富,通过控制台我们就能看到,各种各样的产品都在列表内,大家可以根据工作需求来取舍。我们一般用得比较多的有EC2AWS云主机)、Route53DNS)、CDNElastic Load Balancing AWS负载均衡)、S3/Glacier(云存储)、数据库产品有RDSRedshiftNoSQLDynamonDBElasticMapReduceHadoop计算框架)等等,AWS的产品线是非常丰富的,甚至可以说,我们工作中产生的业务需求,很有可能就能通过AWS的产品来实现。通过AWSEMR服务来实现工作中的Hadoop/Spark来进行海量离线业务日志的处理和分析,是一件非常容易和轻松的事情,事实上,这部分的工作是完全不需要运维人员来参与的。

 

另外,事实上,AWS云计算平台进行弹性扩容是一件非常容易和方便的事情,拿我们的业务平台来说,在上线前期,由于宣传及商务谈判等原因,入口流量及用户数都比较少,这个时候平台很稳定,整体系统负载及QPS都比较低,但随着后期商业谈判的成功,入口流量及用户都越来越多,系统负载、QPS都偏高,机器还经常出现了CPU利用率达到100%的情况。这个时候我们可以通过调用AWS API接口来实现弹性扩容,包括主机的分配、流量的分配、IP的绑定、域名解析的配置,还有存储服务等,这部分的工作如果做成自动扩容也是比较容易实现的,我们可以通过Ansible自动化配置管理工具或Python语言自行开发。事实上,为了节约费用,很多时候我们可以考虑开启更便宜的Spot Instance(比Instance实例收费便宜多了,但公网IP不固定,由于采用的是竞价模式,很容易被别人买走)。另外,后续的工作我们还是要在工作中考虑到,比如说某项业务量降下去以后,我们不再需要那么多机器了(AWS是以Instance实例实际使用的小时数来收费的,我们关闭机器以后AWS就不再收费了),我们应该如何在不影响业务稳定性的前提下来减少机器数量从而起到节约成本的作用呢,这些都需要我们在实际的开发工作中考虑到。

 

另外,在实际使用工作中我们也发现,AWS平台目前也还是存着一些问题的,这些也应该是我们在使用过程注意的地方:

一、有段时间,美国西部的机器因为亚马逊硬件升级的原因,不断的要进行业务迁移的工作,事实上如果是某个集群内的机器的话倒没什么影响,如果机器上面正跑着重要核心业务的话,对整体系统还是非常有影响的;

二、使用中有机器还是有重启的情况,还发生过机器失联的情况,当然了这种情况并不多见,一年中我们也只发现了两起,就是没有任何邮件通知的情况下,机器发生了失联情况;

三、亚马逊自带的监控功能或产口还不是很强,所以我们还是需要自己配置nagioszabbix监控服务,并针对业务需求来开发插件;

四、预留实例的出售是一件比较麻烦的事情,比较好买,但感觉非常难出售,所以笔者每次购买预留实例会非常小心谨慎。

五、AWS的帐单功能还是挺完善的,但也可能会产生误收费的情况,这个时候需要英语口语或邮件沟通,一般情况下AWS会退款的。

 

虽然AWS云计算平台或多或少的存在些问题,但总体来说并不会影响我们业务系统的整体性能和稳定,我们能够在节约成本的前提下,能够非常方便的进行扩容工作和Hadoop/Spark数据计算,在全球部署自己的数据中心,这些工作由于使用了AWS平台感觉操作起来非常简单方便,感谢AWS提供了这么些伟大的产品,预祝其越做越好。 (联系AWS专家

本文出自 “抚琴煮酒” 博客,请务必保留此出处http://yuhongchun.blog.51cto.com/1604432/1860291

aws的边缘计算平台greengrass和iot

AWS的边缘计算平台GreenGrass和IoT为什么需要有边缘计算?如今公有云和私有云平台提供的服务已经连接上了绝大多数的桌面设备和移动设备。但是更多的设备比如,车辆,工程机械,医疗设备,无人机,生产机械等等在运行的时... 查看详情

亚马逊aws在线系列讲座——基于aws云平台的高可用应用设计

设计高可用的应用是架构师的一个重要目标。可是基于云计算平台设计高可用应用与基于传统平台的设计有很多不同。云计算在给架构师带来了很多新的设计挑战的时候,也给带来了很多新的设计理念和可用的服务。怎样在设计... 查看详情

宝马宣布成为首家使用亚马逊aws云平台的汽车制造商,如何解读此举?

...引起的,但随着该行业数字化转型的继续推进,亚马逊云计算业务保持强劲增 查看详情

亚马逊aws的云计算服务都有哪些优势

亚马逊AWS作为云计算服务的领军者,AWS对SaaS解决方案的设计提供了一些云计算服务最佳实践。一、将平台化的功能隔离出来,SaaS产品的更新速度是非常快的,但是我们仍然能够总结出一些核心的功能是基本不变或者能够在很多... 查看详情

aws亚马逊和aliyun阿里云的区别比较和深度分析

...,组件化,比如lambda,ecs,可以很容易搭建网站,大数据计算平台,有非常方面的部署脚本,便捷可以释放资源。Aliyun阿里云侧重在数据仓库,计算与存储是耦合的,耦合一个好处是速度会比较快,AWS的话存储是S3,与计算不是... 查看详情

云计算术语

...制的细节。AmazonWebServices(AWS):亚马逊(Amazon)公司的云计算IaaS和PaaS平台 查看详情

微云可能取代aws、azure和googlecloud公共云

参考技术A云计算市场的许多小规模提供商的云计算服务和产品在速度、成本、灵活性,甚至在本地部署和混合云选项方面都会对全球云计算行业巨头构成挑战。云计算平台的规模一定很大,对吧?如果云计算的最佳功能是用户只... 查看详情

云计算的“云”,除了公有云私有云和混合云,云计算还有这些细分领域

云计算的“云”,源于绘制互联网图表时的一个习惯——将其画成一朵云。最受认同的关于云计算含义的解释是,在一个商业供应者的数据中心上通过互联网远程运行工作负载——也就是所谓的“公有云”模式。AWS、Azure、谷歌... 查看详情

云-aws-百科:aws

ylbtech-云-AWS-百科:AWSAmazonWebServicesAWS是亚马逊公司旗下云计算服务平台,为全世界范围内的客户提供云解决方案。AWS面向用户提供包括弹性计算、存储、数据库、应用程序在内的一整套云计算服务,帮助企业降低IT投入成本和维... 查看详情

aws使用心得:当初我曾错过的那些宝贵经验

...错过、而至今仍将我追悔莫及的AmazonWebServices(简称AWS)使用心得。在几年来的实践其中,我通过在AWS之上新手构建及部署各类应用程序而积累到了这些经验。尽管内容有些杂乱,但相信仍然能给各位带来一点启发。从物理server... 查看详情

我在亚马逊云平台的学习成长之路(代码片段)

前言今年是亚马逊云科技成立的第16个年头,也是云计算行业诞生的16周年。作为云计算时代的“领头羊”,亚马逊2006年推出了名为AmazonWebServices(AWS)的新产品。AWS背后的想法是提供一个平台,同亚马逊内部使用的平台... 查看详情

如何管理aws云服务器

...AmazonWebServices是一组服务,它们允许通过程序访问Amazon的计算基础设施。Amazon多年来一直在构建和调整这个健壮的计算平台,现在任何能够访问Internet的人都可以使用它。Amazon提供几个Web服务,但是本系列只关注满足大多数系统... 查看详情

云计算架构课程

参考技术A『壹』什么人适合报亚马逊AWS云计算架构师课程AWS云计算架构师的认证课程分为两种,前一种叫做ArchitectingonAWS,主要针对的是AWS认证解内决方案架构师–助理级的容,后一种叫做ArchitectingonAWS–AdvancedConcepts,主要针对... 查看详情

网络基础知识及计算机基础

云计算简介公有云(中小公司)亚马逊AWS,阿里云aliyun,完全图形界面私有云(浪潮、联想等大公司)云计算的模式IaaS基础设施即服务(租用空间的,放在虚拟主机里,几个公司共用一个服务器,现在很少了)PaaS平台即服务(E... 查看详情

40了解云计算平台的高可用架构,如aws的多可用区gcp的负载均衡器(代码片段)

云计算平台提供的高可用架构可以帮助用户确保服务的可靠性和稳定性。在AWS和GCP中,高可用架构通常涉及多个可用区域(AvailabilityZones)或负载均衡器(LoadBalancer),以确保服务的高可用性。AWS的多可用... 查看详情

你所不知道的aws云服务清单(71种)

...逊Web服务,是一个提供了一系列按使用计费的web服务的云平台。它是迄今为止最为著名的云平台之一。由于其灵活性、有效性、弹性、可测量性和无须维护,所以有一些企业正逐步把他们的业务迁移到云端。由于许多公司目前在... 查看详情

云平台概念详解

1.前言随着云计算概念的不断落地和推广,目前云平台已经得到了非常广泛的使用.    云平台帮助用户在:    •    应用落地    •    服务落地    •    安全保障    •    性能等方面获得比传统方式更高效,更... 查看详情

terraform学习总结——基于aws云平台上的terraform实战(代码片段)

一、AWS上基础环境介绍相信大家已经知道Terraform的基本使用方式了。在我们以后的场景中,主要讨论一些典型架构的实现。在实际使用中,Terraform在多云基础架构创建中,是非常方便和简洁的。Terraform造了足够多的轮... 查看详情