采用断路器设计模式来保护软件

程序员的人生就像在一个快车道上行驶。几周甚至几小时完成某些特性编码,打包测试没有问题,盖上QA认证,代码部署到生产环境。然而最坏的事情发生了,你所部署的软件在运行中挂掉了。用墨菲法则来说,就是“会出错的,终将出错”。但是,如果我们在写代码时就能考虑到这些问题会怎样?

那么我们该如何应对,将不好的事情转变为好的事情呢?

电子技术拯救了我们

至今记得我和哥哥因为电涌不得不更换家里的保险丝情景,那时我对事件的严重程度一无所知,而他却已经是电力方面的小能手了。保险丝完全烧坏了,但它却保护了我家的电视机。在电子工程领域,保险丝和断路器用(Circuit Breaker)来处理这样的问题,即超大功率可能带来一些严重的破坏,譬如毁坏电子设备甚至烧掉整个屋子。保险丝包含一个小电线丝,电量过大时就会融化,就像烧掉的电灯泡,阻止危险的电流,保护了电器和房屋。

保险丝演变成断路器,通常利用电磁铁就可以断开电路,而不用烧掉它,这样断路器就可以重置反复地用。不过,它们的功能都是一样的,检测负载,接着迅速停止工作,保全其它部分不受破坏。

回过头再想,这是一个多么神奇的概念。仅仅坏掉某个控件——保险丝彻底坏掉,就可以避免了整个系统的严重损坏。多亏电涌后保险丝自熔,保住了电视机。那么我们可不可在软件中做同样的事情?坏事发生后,软件中的某个控件会迅速停止工作。模仿现实生活中的场景,由此我们创造了断路器设计模式

在分布式系统中,某些故障是短暂的,通过快速连续重试就可以解决问题;但在某些场景中,关键依赖的连接丢失了,短时间无法恢复。比如,某个应用失去了与云中的持续化存储连接。在这样的场景中,关闭服务就可以避免错误的数据处理过程、甚至数据丢失或者级联故障,进而防止对系统其它部分的进一步损坏。

借助于迅速停止工作(failing fast),运维系统就可以容易地进行监控和响应。在它们重视起来之前,那些徒劳尝试重新连接的服务看起来仍然是正常的,因为本应该拉响的警报没有响起。倘若某个服务在恰当的时候彻底失效,警告灯熄灭了,运维人员就会知晓问题所在,并及时做出响应。

断路器设计模式

在系统中可重用基础架构实现断路器设计模式是很容易实现的,它是这么发挥作用的:

1 定义一个可重用的CircuitBreaker类,包含Trip和Reset方法,以及断路器跳闸就可以调用的action
2 利用CircuitBreaker去监控系统依赖。针对每个单一的故障,断路器跳闸就会将其设置在一种布防状态,就像电涌出现时那样。
3 倘若接下来在特定的时间窗口内尝试成功,那么就重置此断路器,一切恢复正常。
4 倘若断路器没有在特定的时间重置,异常会持续发生,此时断路器就会调用你提供的action。你可以在断路器跳闸时选择快速停止工作(终止进程)或者其他action。

应用案例

本例中ExternalServiceAdapter类帮助系统与外部依赖建立连接。或许有个网络程序产生请求频繁地执行DoStuff操作。一旦执行,若此时GetConnection执行出错,异常就会发生,断路器就会被跳闸。倘若连接重新建立起来,断路器就会被重置。不过连接异常持续发生时,断路器就会跳闸,特定的跳闸action就会执行,在本例中将会迅速停止工作。

public class ExternalServiceAdapter
{
    private CircuitBreaker circuitBreaker;

    public ExternalServiceAdapter()
    {
        circuitBreaker = new CircuitBreaker("CheckConnection", /*断路器名称 */
            exception => /* 一旦断路器跳闸此action就会被调用 */
            {
                Console.WriteLine("Circuit breaker tripped! Fail fast!");
                //终止进程,略过接下来的任何try/finally块或者finalizers
                Environment.FailFast(exception.Message);
            },
        3, /* 断路器跳闸前的最大阈值*/
        TimeSpan.FromSeconds(2)); /* Time to wait between each try before attempting to trip the circuit breaker */
    }

    public void DoStuff()
    {
        var externalService = GetConnection();
        externalService.DoStuff();
    }

    ConnectionDependency GetConnection()
    {
        try
        {
            var newConnection = new ConnectionDependency();
            circuitBreaker.Reset();
            return newConnection;
        }
        catch (Exception exception)
        {
            circuitBreaker.Trip(exception);
            throw;
        }
    }
}

断路器模式简单实现

using System;
using System.Threading;

public class CircuitBreaker 
{
    public CircuitBreaker(string name, /*操作名称*/
        Action<Exception> tripAction, /* 一旦断路器跳闸action就会被调用*/
        int maxTimesToRetry, /* 断路器跳闸前重试的时间*/
        TimeSpan delayBetweenRetries /*每一次重试的时间间隔*/) 
    {
        this.name = name;
        this.tripAction = tripAction;
        this.maxTimesToRetry = maxTimesToRetry;
        this.delayBetweenRetries = delayBetweenRetries;

        // 一旦用户迫使断路器跳闸,计时器就会开启
        timer = new Timer(CircuitBreakerTripped, null, Timeout.Infinite, (int)delayBetweenRetries.TotalMilliseconds);
    }

    public void Reset()
    {
        var oldValue = Interlocked.Exchange(ref failureCount, 0);
        timer.Change(Timeout.Infinite, Timeout.Infinite);
        Console.WriteLine("The circuit breaker for {0} is now disarmed", name);

    }

    public void Trip(Exception ex)
    {
        lastException = ex;
        var newValue = Interlocked.Increment(ref failureCount);

        if (newValue == 1)
        {
            // 开启重试计时器. 
            timer.Change(delayBetweenRetries, TimeSpan.FromMilliseconds(-1));

            // 记录已触发的断路器.
            Console.WriteLine("The circuit breaker for {0} is now in the armed state", name);
        }
    }

    void CircuitBreakerTripped(object state)
    {
        Console.WriteLine("Check to see if we need to trip the circuit breaker. Retry:{0}", failureCount);
        if (Interlocked.Increment(ref failureCount) > maxTimesToRetry)
        {
            Console.WriteLine("The circuit breaker for {0} is now tripped. Calling specified action", name);
            tripAction(lastException);
            return;
        }
        timer.Change(delayBetweenRetries, TimeSpan.FromMilliseconds(-1));        
    }

    readonly string name;
    readonly int maxTimesToRetry;
    long failureCount;
    readonly Action<Exception> tripAction;
    Exception lastException;
    readonly TimeSpan delayBetweenRetries;
    readonly Timer timer;
}

断路器单元测试

[TestFixture]
public class CircuitBreakerTests
{
    [Test]
    public void When_the_circuit_breaker_is_tripped_the_trip_action_is_called_after_reaching_max_threshold()
    {
        bool circuitBreakerTripActionCalled = false;
        var connectionException = new Exception("Something bad happened.");

        var  circuitBreaker = new CircuitBreaker("CheckServiceConnection", exception =>
        {
            Console.WriteLine("Circuit breaker tripped - fail fast");
            circuitBreakerTripActionCalled = true;
            // You would normally fail fast here in the action to faciliate the process shutdown by calling:
            // Environment.FailFast(connectionException.Message);
        }, 3, TimeSpan.FromSeconds(1));

        circuitBreaker.Trip(connectionException);
        System.Threading.Thread.Sleep(5000); 
        Assert.IsTrue(circuitBreakerTripActionCalled); 
    }

    [Test]
    public void When_the_circuit_breaker_is_reset_the_trip_action_is_not_called()
    {
        bool circuitBreakerTripActionCalled = false;
        var connectionException = new Exception("Something bad happened.");

        var circuitBreaker = new CircuitBreaker("CheckServiceConnection", exception =>
        {
            Console.WriteLine("Circuit breaker tripped - fail fast");
            circuitBreakerTripActionCalled = true;
            // You would normally fail fast here in the action to faciliate the process shutdown by calling:
            // Environment.FailFast(connectionException.Message);
        }, 3, TimeSpan.FromSeconds(2));

        circuitBreaker.Trip(connectionException);
        System.Threading.Thread.Sleep(1000); 
        circuitBreaker.Reset();
        Assert.False(circuitBreakerTripActionCalled);
    }
}

上面代码案例采用Console.WriteLine,你可以选择自己喜欢的logger。

最后结语

断路器是现代社会重要的组成部分,可以说是最重要的安全设备之一。不论是一个熔化的保险丝,或者是跳闸的断路器,它们的存在背后都有其充足的理由。

监控重要的资源,一旦它们无法响应,断路器就迅速停止工作,进而确保整个运维团队做出正确的响应。

如果你想进一步了解这些设计模式,请看Michael T. Nygard 的《Release It》,这是一本相当不错的读物。

原文链接: Indu Alagarsamy 翻译: ImportNew.com - 乔永琪
译文链接: http://www.importnew.com/16101.html
[ 转载请保留原文出处、译者和译文链接。]

关于作者: 乔永琪

(新浪微博:@甜菜碱

查看乔永琪的更多文章 >>



相关文章

发表评论

Comment form

(*) 表示必填项

还没有评论。

跳到底部
返回顶部