如何優雅地執行dubbo"單測"

很多小夥伴所在的公司是基於Dubbo來構建技術棧的，日常開發中必不可少要寫dubbo單測（單元測試），如果單測數據依賴已有的外部dubbo服務，一般是mock數據，如果數據比較複雜，其實mock數據也是一個不小的工作量。那有沒有更好的單測方式來代替我們完成”mock“數據功能呢，這時可以藉助dubbo telnet功能，獲取真實數據用在單測中使用。

本文會先討論如何使用基於dubbo telnet的代理工具類（DubboTelnetProxy），然後再討論下mockito+DubboTelnetProxy如何進行多層次的單測，最後分析下如何讓單測變得更加智能（比如自動注入等）。（ps：關於dubbo和mockito這裏就不展開討論了，具體可以參考對應資料~）

1 Dubbo單測現狀

dubbo單測其實和非dubbo單測的流程是一樣的，初始化待測試類和單測上下文，打樁然後調用，最後檢查返回結果。比如我們常用mockito來跑單測，其簡單的示例如下：

public class DubboAppContextFilterTest extends BaseTest {
    private DubboAppContextFilter filter = new DubboAppContextFilter();

    @Before
    public void setUp() {
        cleanUpAll();
    }

    @After
    public void cleanUp() {
        cleanUpAll();
    }

    @Test
    public void testInvokeApplicationKey() {
        Invoker invoker = mock(Invoker.class);
        Invocation invocation = mock(Invocation.class);
        URL url = URL.valueOf("test://test:111/test?application=serviceA");
        when(invoker.getUrl()).thenReturn(url);

        filter.invoke(invoker, invocation);
        verify(invoker).invoke(invocation);

        String application = RpcContext.getContext().getAttachment(DubboUtils.SENTINEL_DUBBO_APPLICATION_KEY);
        assertEquals("serviceA", application);
    }
}

上面代碼copy於sentinel的單元測試代碼。

2 DubboTelnetProxy

在dubbo服務機器上，我們可以使用telnet連接dubbo服務，然後執行invoke命令來手動調用dubbo接口並獲取結果，DubboTelnetProxy就是將這一系列的手動操作按照dubbo telnet格式固化到代碼中。在具體討論DubboTelnetProxy之前，先看下其有哪些功能，DubboTelnetProxy特點：

基於telnet的dubbo代理工具類，可用於本地單測中；
直接使用telnet指定ip+port進行連接，無需更多的dubbo相關配置，使用便捷；
可動態配置ip+port信息。

話不多說，先看下DubboTelnetProxy代碼實現：

@AllArgsConstructor(access = AccessLevel.PRIVATE)
public class DubboTelnetProxy implements MethodInterceptor {

    private String ip;
    private Integer port;

    @Override
    public Object intercept(Object obj, Method method, Object[] params, MethodProxy proxy) throws Throwable {
        if ("toString".equals(method.getName())) {
            return obj.getClass().getName();
        }

        TelnetClient telnetClient = new TelnetClient();
        telnetClient.setConnectTimeout((int) TimeUnit.SECONDS.toMillis(5));
        telnetClient.connect(ip, port);
        try {
            InputStream in = telnetClient.getInputStream();
            PrintStream out = new PrintStream(telnetClient.getOutputStream());

            // 1. 發送dubbo telnet請求
            StringBuffer request = new StringBuffer("invoke ");
            request.append(method.getDeclaringClass().getTypeName()).append(".");
            request.append(method.getName()).append("(");
            request.append(StringUtils.join(Arrays.stream(params).map(JSON::toJSONString).collect(Collectors.toList()), ",")).append(")");
            out.println(request.toString());
            out.flush();

            // 2. 結果處理
            int len = 0;
            byte[] buffer = new byte[512];
            String result = "";
            while (!result.contains(StringUtils.LF) && (len = in.read(buffer)) > 0) {
                result += new String(ArrayUtils.subarray(buffer, 0, len));
            }
            result = StringUtils.substringBefore(result, StringUtils.LF);
            if (StringUtils.isBlank(result) || !result.startsWith("{")) {
                throw new RuntimeException(result);
            }

            // 3. 反序列化
            return JSON.parseObject(result, method.getGenericReturnType());
        } finally {
            telnetClient.disconnect();
        }
    }

    /**
     * mockDubboIpPortFormat：配置格式爲  -Dmock.dubbo.%s=127.0.0.1:8080，%s爲當前dubbo接口的名字，class.getSimpleName()
     */
    private final static String mockDubboIpPortPrefix = "mock.dubbo.";
    public final static String mockDubboIpPortFormat = mockDubboIpPortPrefix + "%s";

    /**
     * dubbo telnet建造者
     */
    public static class Builder {
        final static String DEFAULT_IP = "127.0.0.1";
        final static Integer DEFAULT_PORT = 20880;

        /**
         * 創建dubbo telnet代理
         */
        public static <T> T enhance(Class<T> clazz) {
            return enhance(clazz, null, null);
        }
        public static <T> T enhance(Class<T> clazz, String ip) {
            return enhance(clazz, ip, null);
        }
        public static <T> T enhance(Class<T> clazz, Integer port) {
            return enhance(clazz, null, port);
        }

        @SuppressWarnings("unchecked")
        public static <T> T enhance(Class<T> object, String ip, Integer port) {
            // 優先嚐試從properties解析ip:port配置
            String ipPort = System.getProperties().getProperty(String.format(mockDubboIpPortFormat, object.getSimpleName()));
            if (StringUtils.isNotEmpty(ipPort)) {
                String[] array = StringUtils.split(ipPort, ",");
                ip = array[0];
                port = Integer.valueOf(array[1]);
            }

            Enhancer enhancer = new Enhancer();
            enhancer.setSuperclass(object);
            enhancer.setCallback(new DubboTelnetProxy(ObjectUtils.defaultIfNull(ip, DEFAULT_IP), ObjectUtils.defaultIfNull(port, DEFAULT_PORT)));
            return (T) enhancer.create();
        }
    }
}

DubboTelnetProxy的實現原理是使用cglib生成dubbo facade接口代理類，然後在代理類按照dubbo telnet格式拼接請求參數，最後獲取返回結果並反序列化返回給應用程序。上述代碼不足點是：目前每次dubbo調用都會新建telnet連接，對於單測來說是OK的，後續如果用於本地壓測或者調用頻繁測試場景，考慮複用連接或者使用netty client bootstrap方式避免每次都新建連接。

2.1 使用示例

手動/自動指定dubbo服務IP地址：

@Test
public void test() {
  // OrderQueryService爲dubbo服務的一個API接口
  System.setProperty("mock.dubbo.OrderQueryService", "127.0.0.1:20880");

  OrderQueryService orderQueryService1 = DubboTelnetProxy.Builder.enhance(OrderQueryService.class);
  OrderQueryService orderQueryService2 = DubboTelnetProxy.Builder.enhance(OrderQueryService.class, "127.0.0.1");
  OrderQueryService orderQueryService3 = DubboTelnetProxy.Builder.enhance(OrderQueryService.class, "127.0.0.1", 20880);

  OrderDTO result = orderQueryService1.query("訂單號");
  System.out.println(result);
}

3 DubboTelnetProxy + mockito自動注入

日常開發中，可以使用mockito進行單測，保證代碼質量。在mockito中，如果想讓某個DubboTelnetProxy代理類注入到待測試中，可使用FieldUtils工具類進行屬性注入。

使用DubboTelnetProxy + mockito示例如下：

@RunWith(MockitoJUnitRunner.class)
public class DemoServiceClientTest {
    @InjectMocks
    DemoServiceClient demoServiceClient;

    @Before
    public void before() throws IllegalAccessException {
        FieldUtils.writeField(demoServiceClient, "demoServiceFacade",
                DubboTelnetProxy.Builder.enhance(DemoServiceFacade.class), true);
    }

    @Test
    public void hello() throws IllegalAccessException {
        // 調用遠程服務，DubboTelnetProxy方式
        demoServiceClient.hello("world");

        // 如果需要打樁，則使用Mock類
        DemoServiceFacade demoServiceFacade = Mockito.mock(DemoServiceFacade.class);
        Mockito.when(demoServiceFacade.hello("world")).thenReturn("zzz");
        FieldUtils.writeField(demoServiceClient, "demoServiceFacade", demoServiceFacade, true);
        Assert.assertEquals(demoServiceClient.hello("world"), "zzz");
    }
}

@Component
public class DemoServiceClient {
    @Resource
    private DemoServiceFacade demoServiceFacade;

    public String hello(String world) {
        return demoServiceFacade.hello(world);
    }
}

// dubbo api
public interface DemoServiceFacade {
    String hello(String world);
}

3.1 如何自動注入

要實現DubboTelnetProxy的自動注入，首先判斷出來待測試類中的哪些屬性需要構造DubboTelnetProxy或者對應實例，一般情況下如果屬性是非本工程內的接口類型，就可以認爲是dubbo api接口，進行構造DubboTelnetProxy並注入；如果屬性是本工程內的接口類型，則在本工程內查找對應的實現類進行反射方式的屬性注入（可使用org.reflections包中的Reflections工具類來獲取接口下所有實現類）；如果屬性是普通類，則直接反射構建對象注入即可，僞代碼如下：

/**
 * 默認的dubbo屬性構造器，如果是非本工程內屬性類型並且是接口類型，直接進行DubboTelnetProxy構建
 */
public static Function<Field, Object> DEFAULT_DUBBO_FC = field -> {
    try {
        assert Objects.nonNull(targetContext.get());
        Class fieldClass = field.getType();
        if (fieldClass.isInterface()) {
            // 本工程內的加載其實現類，非本工程內的按照DubboTelnetProxy構建
            if (!isSameProjectPath(targetContext.get().getClass(), fieldClass)) {
                return DubboTelnetProxy.Builder.enhance(fieldClass);
            } else if (fieldClass.getSimpleName().endsWith("Dao")) {
                return Mockito.mock(fieldClass);
            } else {
                String packagePath = fieldClass.getPackage().getName() + ".impl.";
                return Class.forName(packagePath + fieldClass.getSimpleName() + "Impl").newInstance();
            }
        } else if (isSameProjectPath(targetContext.get().getClass(), fieldClass)) {
            return fieldClass.newInstance();
        } else {
            // 非工程內的類直接mock掉
            return Mockito.mock(fieldClass);
        }
    } catch (Exception e) {
        System.err.println("DEFAULT_DUBBO_FC 發生異常 field=" + field);
        e.printStackTrace();
        System.exit(-1);
        return null;
    }
};

針對待注入類有多個層次，比如測試類A中屬性b類型是B，B中屬性c類型是C等，那麼在自動注入類A的所有屬性時，需要遞歸進行，直至所有子類型的屬性都構建完畢，示例僞代碼如下：

void doWithFieldsInternal(@NonNull Object target, @Nullable Function<Field, Object> fc, @Nullable Boolean recursive) {
    assert !(target instanceof Class);
    // 默認fc回調直接調用默認無參構造方法
    fc = ObjectUtils.defaultIfNull(fc, DEFAULT_FC);
    recursive = ObjectUtils.defaultIfNull(recursive, false);

    List<Object> fieldList = new ArrayList<>();
    do {
        Object finalTarget = target;
        Function<Field, Object> finalFc = fc;
        ReflectionUtils.doWithFields(finalTarget.getClass(), field -> {
            Object value = finalFc.apply(field));
            DubboReflectionUtils.setField(finalTarget, field, value);
            if (Objects.nonNull(value) && DEFAULT_FF.matches(field)) {
                fieldList.add(value);
            }
        }, filterField -> {
            // 默認只注入非基本類型並且爲null的屬性
            return DEFAULT_FF.matches(filterField) && DubboReflectionUtils.isNullFieldValue(finalTarget, filterField);
        });
    } while (recursive && !fieldList.isEmpty() && Objects.nonNull(target = fieldList.remove(0)));
}

3.2 如何讓自動注入更易用

上述示例中的自動注入是程序會遞歸注入待測試類中的所有屬性，但還是需要在代碼中先調用要"自動注入"的代碼，爲了更易用，可以使用註解方式來自動注入被註解修飾的所有類或者屬性，類似於在Spring中對類屬性配置了@Resource之後，Spring在容器啓動過程中會自動對該屬性注入對應示例，開發者無需關注。

關於如何實現mockito+DubboTelnetProxy的註解方式自動注入，筆者就不在贅述，感興趣的小夥伴可以參考3.1中的實現思路自行實現。

說道註解，其實想實現針對某些註解執行一些特定邏輯（比如執行自動注入），可以在兩種階段對其處理，如下所示：

編譯處理階段：比如設置Java的註解處理器，一般是繼承AbstractProcessor來實現特定業務邏輯，其主要的處理邏輯就是掃描、評估和處理註解的代碼，以及生產 Java 文件。比如lombok中的@Setter註解就是要產生對應屬性的setter方法；
容器啓動階段：這裏的容器是業務程序自己定義的容器，比如Spring的IoC容器，在容器啓動過程中針對註解進行處理，首先獲取註解對應的屬性，然後從容器中獲取屬性對應的實例通過反射將其注入即可。

以上兩種自動注入方式在實現都是OK的，前者在編譯階段後者在運行時，不過後者由於在運行時起作用，因此靈活性更大。

推薦閱讀

歡迎小夥伴關注【TopCoder】閱讀更多精彩好文。

如何優雅地執行dubbo"單測"

1 Dubbo單測現狀

2 DubboTelnetProxy

2.1 使用示例

3 DubboTelnetProxy + mockito自動注入

3.1 如何自動注入

3.2 如何讓自動注入更易用

啥啥啥，服務治理是個啥

令牌桶、漏斗、冷啓動限流在sentinel的應用

influxdb的命令們

influxdb基礎那些事兒

Linux Cgroup淺析

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結