简单同步模式的Producer:

示例代码:

@GetMapping(path = "/hello/{name}")
public String hello(@PathVariable(name = "name") String name){
  return "hello " + name;
}

与此对应的处理流程如下:

这是传统典型的工作模型,核心思想是不阻塞网络线程,将业务放在独立的线程中处理(为了简化表达,executor中只画一个线程)

一般情况下,此模式问题不大。

嵌套同步调用:

不是所有的业务都是简单处理一下,就可以直接应答,可能还需要调用其他微服务.

示例代码:

public interface Intf{
  String hello(String name);
}

@GetMapping(path = "/hello/{name}")
public String hello(@PathVariable(name = "name") String name){
  return "from remote: hello " + intf.hello(name);
}

与此对应的处理流程如下:

根据这个流程的特点,可以看到会产生以下结果:

  • 因为是同步调用,在“Other microservices”未应答之前“Microservice A”的调用线程一直处于阻塞等待状态,不处理任何其他事务

  • 当Executor中所有线程都在等待远程应答时,所有新的请求都只能在Queue中排队,得不到处理,此时整个系统相当于停止工作了

  • 要增加处理能力,只能增加Executor中的线程数,而操作系统并不能无限地增加线程数,事实上增加线程数带来的收益是一个抛物线模型,超出一定的临界值后,系统的处理能力其实会下降,而这个临界值并不会太大

  • 当业务逻辑中,需要多次进行远程同步操作时,会更加恶化这个现象

嵌套同步调用的“错误”优化:

针对前一场景,有人会认为将“Invoke producer method”丢进另一个线程池,可以解决问题,包括以下处理方式:

  • 在producer method打标注@Async,由AOP负责将对该方法的调用丢进其他线程池去

  • 在producer method内部通过业务代码转移线程

形成以下流程:

根据这个流程的特点,可以看到会产生以下结果:

  • “Invoke producer method”必须立即返回,否则Executor线程还是得不到释放

  • “Invoke producer method”必须提供一个新的机制告知调用流程自己的返回值,不是最终返回值(当前没有这个机制)

  • 虽然Executor线程释放了,但是Customer Executor,其实还是阻塞住,在等待远端应答,整个系统的阻塞状态并没有得到改变;而且还凭空多了一次线程切换

  • 该机制看上去,唯一的作用,是释放了executor线程,让executor线程有机会处理其他请求,这相当于隔离仓的概念,处理速度慢的业务不要影响其他业务;但是这个概念serviceComb是可以直接支持的,可以配置指定的业务方法独占全新的executor,这样整个流程就跟“嵌套同步调用”完全一样,流程更简单,而不需要在“Invoke producer method”层次来做这个事情

纯Reactive机制

示例代码:

public interface Intf{
  CompletableFuture<String> hello(String name);
}

@GetMapping(path = "/hello/{name}")
public CompletableFuture<String> hello(@PathVariable(name = "name") String name){
  CompletableFuture<String> future = new CompletableFuture<>();
  intf.hello(name).whenComplete((result, exception) -> {
    if (exception == null) {
      future.complete("from remote: " + result);
      return;
    }

    future.completeExceptionally(exception);
  });
  return future;
}

与此对应的处理流程如下:

  • 与传统流程不同的是,所有功能都在eventloop中执行,并不会进行线程切换

  • 橙色箭头走完后,对本线程的占用即完成了,不会阻塞等待应答,该线程可以处理其他任务

  • 当收到远端应答后,由网络数据驱动开始走红色箭头的应答流程

  • 只要有任务,线程就不会停止,会一直执行任务,可以充分利用cpu资源,也不会产生多余的线程切换,去无谓地消耗cpu。

因为同步模式下,需要大量的线程来提升并发度,而大量的线程又带来线程切换的额外消耗。

测试数据表明,reactive模式,只需要消耗同步模式不到一半的cpu,即可达到或超过同步模式的tps,并且时延更低。

混合Reactive机制

Reactvie要求:所有在eventloop中执行的逻辑,不允许有任何的阻塞动作,包括不限于wait、sleep、巨大循环、同步查询DB等等。

serviceComb底层是基于vertx的,vertx生态中有jdbc、mq、zooKeeper等等各种丰富组件的reactive驱动,一般情况下都可以满足要求。

但是有的场景下,确实有的同步操作无法避免,比如:

  • 私有的安全加固的redis,只提供了同步驱动

  • 较复杂的业务运算

  • ……

此时,可以将这些同步的逻辑抽取出来放到线程池中去处理,而其他部分仍然使用reactive的流程。

关于reactive的一些说明:

  • Producer:

    • producer是否使用reactive与consumer如何调用,没有任何联系

    • 当operation返回值为CompletableFuture类型时,默认此operation工作于reactive模式,此时如果需要强制此operation工作于线程池模式,需要在microservice.yaml中明确配置;假设某operation,其schemaId为sid,operationId为asyncQuery,则需要进行以下配置:

cse:
  executors:
    Provider:
      sid.asyncQuery: cse.executor.groupThreadPool

这里的cse.executor.groupThreadPool是serviceComb内置的默认线程池,用户可以任意指定为自己的定制线程池。

  • Consumer:

    • consumer是否使用reactive与producer如何实现,没有任何联系

    • 当前只支持透明RPC模式,使用JDK原生的CompletableFuture来承载此功能

      completableFuture的when、then等等功能都可直接使用

      但是completableFuture的async系列功能,其实是另外启线程池来执行功能,不建议使用

      关于RxJava Observable的支持后续会加入

      关于AsyncRestTemplate的支持后续会加入

results matching ""

    No results matching ""