金桔
金币
威望
贡献
回帖0
精华
在线时间 小时
|
分布式系统
分布式是指将一个系统或应用程序分散在多个计算机或节点上,这些计算机或节点通过网络连接进行通信和协作,共同完成系统或应用程序的任务。在分布式系统中,每个节点都可以独立地处理一部分任务,同时与其他节点协作完成整个系统的任务。分布式系统通常具有高可用性、可扩展性和容错性等优点。
高可用性:分布式系统可以将任务分散到多个节点上,当某个节点出现故障时,其他节点可以继续提供服务,从而保证系统的高可用性。
负载均衡:分布式系统可以通过负载均衡算法将请求分配到不同的节点上,从而避免单个节点负载过高,导致系统崩溃。
数据备份:分布式系统可以将数据备份到多个节点上,当某个节点出现故障时,可以从其他节点恢复数据,从而保证数据的可靠性和系统的可用性。
扩展性:分布式系统可以通过增加节点来扩展系统的处理能力,从而满足不断增长的用户需求。
三态: 分布式系统每一次请求与响应存在特有的“三态”概念,即成功、失败和超时。
重发: 分布式系统在发生调用的时候可能会出现 失败 超时 的情况. 这个时候需要重新发起调用。
幂等: 一次和多次请求某一个资源对于资源本身应该具有同样的结果(网络超时等问题除外)。也就是
说,其任意多次执行对资源本身所产生的影响均与一次执行的影响相同。
select * from T where id = 1
update t set age = 18 where id = 1
update t set age = age +1 where id = 1
分片
分布式系统怎么将任务分发到这些计算机节点呢,很简单的思想,分而治之,即分片(partition)。对于计算,那么就是对计算任务进行切换,每个节点算一些,最终汇总就行了,这就是MapReduce的思想;对于存储,更好理解一下,每个节点存一部分数据就行了。当数据规模变大的时候,Partition是唯一的选择,同时也会带来一些好处:
(1)提升性能和并发,操作被分发到不同的分片,相互独立
(2)提升系统的可用性,即使部分分片不能用,其他分片不会受到影响
复制
在一些异常情况(单点故障:断电/进程Crash,网络故障:断网/高延迟)下,分布式系统还是需要继续稳定的对外提供服务,即需要较强的容错性。最简单的办法,就是冗余或者复制集(Replication),即多个节点负责同一个任务,最为常见的就是分布式存储中,多个节点复杂存储同一份数据,以此增强可用性与可靠性。但是引入了复制就在一定意义上使得保证强一致性变得很困难,就算是最终一致性,还需要考虑数据冲突的情况。
A/B为Partition,C为Replication,很多情况下,分片本身也会复制保证高可用,比如ElastiSearch
CAP
CAP理论是说对于分布式系统,最多只能同时满足一致性(C,Consistency)、可用性(A, Availability)、分区容错性(P,Partition Tolerance)中的两者。
一致性(C,Consistency)
一致性,是指对于每一次读操作,要么都能够读到最新写入的数据,要么错误。分布式数据一致性,指的是数据在多份副本中存储时,各副本中的数据是一致的。
Replication数据不一致
强一致性: 这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,
但实现起来往往对系统的性能影响大。但是强一致性很难实现。
弱一致性: 这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据
能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态。
最终一致性:最终一致性也是弱一致性的一种,它无法保证数据更新后,所有后续的访问都能看到最新数值,而
是需要一个时间,在这个时间之后可以保证这一点(就是在一段时间后,节点间的数据会最终达到一致状态),而在这个时间内,数据也许是不一致的,这个系统无法保证强一致性的时间片段被称为「不一致窗口」。不一致窗口的时间长短取决于很多因素,比如备份数据的个数、网络传输延迟速度、系统负载等。
最终一致性在实际应用中又有多种变种: 因果一致性 -> 读己之所写一致性 -> 会话一致性,单调读一致性,单调写一致性。
因果一致性 -> 读己之所写一致性 -> 会话一致性
因果: 如果进程A通知进程B它已更新了一个数据项,那么进程B的后续访问将返回进程A更新后的值。A和B具有因果关系。
读己之所写: 当进程A自己更新一个数据项之后,它总是访问到更新过的值,绝不会看到旧值。这是因果一致性模型的一个特例。
会话: 它把访问存储系统的进程放到会话的上下文中。只要会话还存在,系统就保证“读己之所写”一致性。
单调读一致性: 如果一个进程已经读取到一个特定值,那么该进程不会读取到该值以前的任何值
单调写一致性: 系统保证对同一个进程的写操作串行化
可用性(A, Availability)
可用性,是指对于每一次请求,都能够得到一个及时的、非错的响应,但是不保证请求的结果是基于最新写入的数据。
分区容错性(P,Partition Tolerance)
分区容错性,是指当节点之间出现网络问题时,整个系统能继续提供服务(提供一致性和可用性的服务)。允许网络丢失从一个节点发送到另一个节点的任意多条消息,即不同步。
CAP 权衡
CP (consistency + partition tolerance):关注一致性和分区容忍性。它关注的是系统里大多数人的一致性协议。这样的系统只需要保证大多数结点数据一致,而少数的结点会在没有同步到最新版本的数据时变成不可用的状态。这样能够提供一部分的可用性。
对于银行来说,就是必须保证强一致性,也就是说C必须存在,如果保障了CP那么就具备了部分可用性。
AP (availability + partition tolerance):这样的系统关心可用性和分区容忍性。因此,这样的系统不能达成一致性,需要给出数据冲突,给出数据冲突就需要维护数据版本。
对于互联网应用来说,机器数量庞大,节点分散,网络故障再正常不过了,那么此时就是保障AP,放弃C的场景,而从实际中理解,像网站这种偶尔没有一致性是能接受的,但不能访问问题就非常大了。
BASE理论
上面我们讲到CAP 不可能同时满足,而分区容错性是对于分布式系统而言,是必须的。如果系统能够同时实现 CAP 是再好不过的了,所以出现了 BASE 理论,BASE:全称:Basically Available(基本可用),Soft state(软状态),和 Eventually consistent(最终一致性)三个短语的缩写, Base 理论是对 CAP 中一致性和可用性权衡的结果,其来源于对大型互联网分布式实践的总结,是基于 CAP 定理逐步演化而来的。其核心思想是: 既是无法做到强一致性(Strong consistency),但每个应用都可以根据自身的业务特点,采用适当的方式来使系统达到最终一致性(Eventual consistency)。
什么是基本可用呢?假设系统,出现了不可预知的故障,但还是能用,相比较正常的系统而言:响应时间上的损失,功能上的损失。
什么是软状态呢?相对于原子性而言,要求多个节点的数据副本都是一致的,这是一种 “硬状态”。软状态指的是:允许系统中的数据存在中间状态,并认为该状态不会影响系统的整体可用性,即允许系统在多个不同节点的数据副本存在数据延时。
什么是最终一致性?上面说软状态,然后不可能一直是软状态,必须有个时间期限。在期限过后,应当保证所有副本保持数据一致性。从而达到数据的最终一致性。这个时间期限取决于网络延时,系统负载,数据复制方案设计等等因素
分布式系统设计策略
心跳检测
用于检测一个节点是否出现了故障乃至无法工作了。以固定的频率向其他节点汇报当前节点状态的方式,心跳汇报时,一般也会携带一些附加的状态、元数据信息,以便管理。
周期检测心跳机制: Server端每间隔 t 秒向Node集群发起监测请求,设定超时时间,如果超过超时时间,则判断“死亡”。可以把该节点踢出集群
累计失效检测机制: 在周期检测心跳机制的基础上,统计一定周期内节点的返回情况(包括超时及正确返回),以此计算节点的“死亡”概率。另外,对于宣告“濒临死亡”的节点可以发起有限次数的重试,以作进一步判断。如果超过次数则可以把该节点踢出集群。
高可用HA
高可用(High Availability)是系统架构设计中必须考虑的因素之一,通常是指,经过设计来减少系统不能提供服务的时间。系统高可用性的常用设计模式包括三种:主备(Master-SLave)、互备(Active-Active)和(Cluster)模式。
主备模式就是Active-Standby模式,当主机宕机时,备机接管主机的一切工作,待主机恢复正常后,按使用者的设定以自动(热备)或手动(冷备)方式将服务切换到主机上运行。在数据库部分,习惯称之为MS模式。MS模式即Master/Slave模式,这在数据库高可用性方案中比较常用,如MySQL、Redis、PostgreSQL等就采用MS模式实现主从复制。保证高可用,如图所示。
互备模式指两台主机同时运行各自的服务工作且相互监测情况。在数据库高可用部分,常见的互备是MM模式。MM模式即Multi-Master模式,指一个系统存在多个master,每个master都具有read-write能力,会根据时间戳或业务逻辑合并版本。
集群模式是指有多个节点在运行,同时可以通过主控节点分担服务请求。集群模式需要解决主控节点本身的高可用问题,一般采用主备模式。
脑裂
在高可用(HA)系统中,当联系两个节点的"心跳线"断开时(即两个节点断开联系时),本来为一个整体、动作协调的HA系统,就分裂成为两个独立的节点(即两个独立的个体)。由于相互失去了联系,都以为是对方出了故障,两个节点上的HA软件像"裂脑人"一样,"本能"地争抢共享资源、争抢应用服务。
脑裂预防方案:
- 添加冗余的心跳线 ,即冗余通信的方法,同时用两条心跳线路 (即心跳线也HA),这样一条线路坏了,另一个还是好的,依然能传送心跳消息,尽量减少"脑裂"现象的发生几率。
2. 仲裁机制, 当两个节点出现分歧时,由第3方的仲裁者决定听谁的。这个仲裁者,可能是一个锁服务,一个共享盘或者其它什么东西
3. 隔离(Fencing)机制,
3.1 共享存储fencing:确保只有一个Master往共享存储中写数据。
3.2 客户端fencing:确保只有一个Master可以响应客户端的请求。
3.3 Slave fencing:确保只有一个Master可以向Slave下发命令
容错性
容错的处理是保障分布式环境下相应系统的高可用或者健壮性,一个典型的案例就是对于缓存穿透问题的解决方案。
我们在项目中使用缓存通常都是先检查缓存中是否存在,如果存在直接返回缓存内容,如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存在,就会造成每一次请求都查询DB,这样缓存就失去了意义,在流量大时,或者有人恶意攻击如频繁发起为id为“-1”的条件进行查询,可能DB就挂掉了。
那这种问题有什么好办法解决呢?
1. 临时存放null值
2. 使用布隆过滤器
负载均衡
负载均衡:其关键在于使用多台集群服务器共同分担计算任务,把网络请求及计算分配到集群可用的不同服务器节点上,从而达到高可用性及较好的用户操作体验。负载均衡器有硬件解决方案,也有软件解决方案。硬件解决方案有著名的F5,软件有LVS、HAProxy、Nginx等。
以Nginx为例,负载均衡有以下6种策略:
负载均衡策略 | 说明 | 轮询 | 默认方式,每个请求会按时间顺序逐一分配到不同的后端服务器 | 预设 weight | 权重方式,在轮询策略的基础上指定轮询的几率,权重越大,接受请求越多 | 客户端 ip_hash | 依据ip分配方式,相同的客户端的请求一直发送到相同的服务器,以保证session会话 | least_conn | 最少连接方式,把请求转发给连接数较少的后端服务器 | fair(第三方) | 响应时间方式,按照服务器端的响应时间来分配请求,响应时间短的优先分配 | url_hash(第三方) | 依据URL分配方式,按访问url的hash结果来分配请求,使每个url定向到同一个后端服务 | 分布式架构服务调用
HTTP和RPC,HTTP跨平台效果更好但数据封装更臃肿,RPC基于TCP/IP协议,效率更高但开发迭代更慢。
HTTP 应用协议的通信框架
1. HttpURLConnection
java 原生 HttpURLConnection是基于http协议的,支持get,post,put,delete等各种请求方式,最常用的就是get和post
2. Apache Common HttpClient
HttpClient 是Apache Common 下的子项目,可以用来提供高效的、最新的、功能丰富的支持HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本。实现了所有 HTTP 的方法(GET,POST,PUT,HEAD 等),支持 HTTPS 协议, 支持代理服务器等
3. OKhttp3
OKHttp是一个当前主流的网络请求的开源框架, 用于替代HttpUrlConnection和Apache HttpClient支持http2.0,对一台机器的请求共享一个socket。采用连接池技术,可以有效的减少Http连接数量。无缝集成GZIP压缩技术。支持Response Cache,避免重复请求。域名多IP支持
4. RestTemplate
Spring RestTemplate 是 Spring 提供的用于访问 Rest 服务的客户端,RestTemplate 提供了多种便捷访问远程Http服务的方法,能够大大提高客户端的编写效率,所以很多客户端比如 Android或者第三方服务商都是使用 RestTemplate 请求 restful 服务。面向 URL 组件,必须依赖于主机 + 端口 + URI。RestTemplate 不依赖于服务接口,仅关注 REST 响应内容。Spring Cloud Feign
RPC
RPC全称为remote procedure call,即远程过程调用。借助RPC可以做到像本地调用一样调用远程服务,是一种进程间的通信方式. 。常见的RPC框架有以下几种:
Java RMI(Romote Method Invocation)是一种基于Java的远程方法调用技术,是Java特有的一种RPC实现。
Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和Spring框架无缝集成。它提供了三大核心能力:面向接口的远程方法调用,智能容错和负载均衡,以及服务自动注册和发现。
跨域
在分布式系统中, 会有调用其他业务系统,导致出现跨域问题,跨域实质上是浏览器的一种保护处理。如果产生了跨域,服务器在返回结果时就会被浏览器拦截(注意:此时请求是可以正常发起的,只是浏览器对其进行了拦截),导致响应的内容不可用。
常见的解决方案
使用HttpClient内部转发
使用设置响应头允许跨域,response.setHeader(“Access-Control-Allow-Origin”, “*”); 设置响应头允许跨域.
基于Nginx搭建企业级API接口网关
使用Zuul搭建微服务API接口网关Zuul是spring cloud中的微服务网关。请求首先通过网关,进行路径的路由,定位到具体的服务节点上。可以使用zuul的过滤器的请求转发去解决跨域问题。
分布式协调技术和分布式锁
分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果。
分布式锁两种实现方式:
1. 基于缓存(Redis等)实现分布式锁
获取锁的时候,使用setnx加锁,并使用expire命令为锁添加一个超时时间,超过该时间则自动释放锁,锁的value值为一个随机生成的UUID, 释放锁的时候进行判断。获取锁的时候还设置一个获取的超时时间,若超过这个时间则放弃获取锁。释放锁的时候,通过UUID判断是不是该锁,若是该锁,则执行delete进行锁释放。
SETNX :set一个key为value的字符串,返回1;若key存在,则什么都不做,返回0。
expire: 为key设置一个超时时间,单位为second,超过这个时间锁会自动释放,避免死锁。
delete :删除key
2. ZooKeeper是一个为分布式应用提供一致性服务的开源组件,它内部是一个分层的文件系统目录树结构,规定同一个目录下只能有一个唯一文件名, 基于ZooKeeper实现分布式锁的步骤如下:
创建一个目录mylock
线程A想获取锁就在mylock目录下创建临时顺序节点
获取mylock目录下所有的子节点,然后获取比自己小的兄弟节点,如果不存在,则说明当前线程顺序号最小,获得锁
线程B获取所有节点,判断自己不是最小节点,设置监听比自己次小的节点
线程A处理完,删除自己的节点,线程B监听到变更事件,判断自己是不是最小的节点,如果是则获得锁
服务削峰
瞬间流量巨大(高并发),削峰从本质上来说就是更多地延缓用户请求,以及层层过滤用户的访问需求,遵从“最后落地到数据库的请求数要尽量少”的原则。
服务削峰方案
要对流量进行削峰,最容易想到的解决方案就是用消息队列来缓冲瞬时流量,把同步的直接调用转换成异步的间接推送,中间通过一个队列在一端承接瞬时的流量洪峰,在另一端平滑地将消息推送出去。
消息队列中间件主要解决应用耦合,异步消息, 流量削锋等问题。常用消息队列系统:目前在生产环境,使用较多的消息队列有 ActiveMQ、RabbitMQ、 ZeroMQ、Kafka、RocketMQ 等。在这里,消息队列就像“水库”一样,拦截上游的洪水,削减进入下游河道的洪峰流量,从而达到减免洪水灾害的目的。
2. 流量削峰漏斗:层层削峰
分层过滤其实就是采用“漏斗”式设计来处理请求的,这样就像漏斗一样,尽量把数据量和请求量一层一层地过滤和减少了。
分层过滤的核心思想
通过在不同的层次尽可能地过滤掉无效请求。
通过CDN过滤掉大量的图片,静态资源的请求。
再通过类似Redis这样的分布式缓存过滤请求
分层过滤的基本原则
对写数据进行基于时间的合理分片,过滤掉过期的失效请求。
对写请求做限流保护,将超出系统承载能力的请求过滤掉。
涉及到的读数据不做强一致性校验,减少因为一致性校验产生瓶颈的问题。
对写数据进行强一致性校验,只保留最后有效的数据。
服务降级
当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理或换种简单的方式处理,从而释放服务器资源以保证核心服务正常运作或高效运作。
整个架构整体的负载超出了预设的上限阈值或即将到来的流量预计将会超过预设的阈值时,为了保证重要或基本的服务能正常运行,我们可以将一些 不重要 或 不紧急 的服务或任务进行服务的 延迟使用或暂停使用。
从分布式,微服务架构全局的视角来看,降级处理方案:
页面降级 —— 可视化界面禁用点击按钮、调整静态页面
延迟服务 —— 如定时任务延迟处理、消息入MQ后延迟处理
写降级 —— 直接禁止相关写操作的服务请求
读降级 —— 直接禁止相关读的服务请求
缓存降级 —— 使用缓存方式来降级部分读频繁的服务接口
针对后端代码层面的降级处理策略,则我们通常使用以下几种处理措施进行降级处理:
抛异常
返回NULL
调用Mock数据
调用Fallback处理逻辑
服务熔断
在互联网系统中,当下游服务因访问压力过大而响应变慢或失败(调用链路的连锁故障,也叫做雪崩),上游服务为了保护系统整体的可用性,可以暂时切断对下游服务的调用。这种牺牲局部,保全整体的措施就叫做熔断。
Spring Cloud Hystrix 熔断机制实现
Spring Cloud Hystrix是基于Netflix的开源框架Hystrix实现,该框架实现了服务熔断、线程隔离等一系列服务保护功能。对于熔断机制的实现,Hystrix设计了三种状态:
熔断关闭状态(Closed):服务没有故障时,熔断器所处的状态,对调用方的调用不做任何限制。
熔断开启状态(Open):在固定时间内(Hystrix默认是10秒),接口调用出错比率达到一个阈值(Hystrix默认为50%),会进入熔断开启状态。进入熔断状态后, 后续对该服务接口的调用不再经过网络,直接执行本地的fallback方法。
半熔断状态(Half-Open):在进入熔断开启状态一段时间之后(Hystrix默认是5秒),熔断器会进入半熔断状态。所谓半熔断就是尝试恢复服务调用,允许有限的流量调用该服务,并监控调用成功率。如果成功率达到预期,则说明服务已恢复,进入熔断关闭状态;如果成功率仍旧很低,则重新进入熔断开启状态。
集群和分布式的区别
我们的分布式系统都运行在集群上。集群可以运行一个或多个分布式系统,也可以没有运行分布式系统。
集群是指将多台计算机连接在一起,形成一个整体,共同完成某项任务。集群中的每台计算机都可以独立地运行应用程序,但它们之间可以相互通信和协作,以提高整个系统的性能和可靠性。
分布式是指将一个应用程序或系统分解成多个独立的部分,这些部分可以在不同的计算机上运行,通过网络进行通信和协作,最终完成整个系统的功能。
集群
集群是指由多台计算机组成的一个计算资源池,这些计算机通过网络互相连接,共同完成某个任务。集群可以提高系统的可靠性、可扩展性和性能,因为它可以将任务分配给多台计算机同时处理,从而提高计算速度和处理能力。集群通常由一个主节点和多个从节点组成,主节点负责协调和管理整个集群的工作,而从节点则负责执行具体的计算任务。
集群优势:
分布式计算:集群中的计算机可以同时处理多个任务,将任务分配给不同的计算机,从而实现分布式计算,提高计算效率。
负载均衡:集群可以通过负载均衡算法将任务均匀地分配给不同的计算机,避免某些计算机负载过重,导致系统性能下降。
高可用性:集群中的计算机可以相互备份,当某个计算机出现故障时,其他计算机可以接替其工作,保证系统的高可用性。
扩展性:集群可以通过增加计算机的数量来扩展系统的性能,当任务量增加时,可以通过增加计算机的数量来满足需求。 |
|