线程模型【转载】

觉得即时通信网上这两篇写的不错，转载用于自己看，方便查阅

高性能网络编程(五)：一文读懂高性能网络编程中的I/O模型

高性能网络编程(六)：一文读懂高性能网络编程中的线程模型

线程模型1：传统阻塞 I/O 服务模型

• 特点：

  • 1）采用阻塞式 I/O 模型获取输入数据；
  • 2）每个连接都需要独立的线程完成数据输入，业务处理，数据返回的完整操作。

  存在问题：

  • 1）当并发数较大时，需要创建大量线程来处理连接，系统资源占用较大；
  • 2）连接建立后，如果当前线程暂时没有数据可读，则线程就阻塞在 Read 操作上，造成线程资源浪费

线程模型2：Reactor 模式

针对传统阻塞 I/O 服务模型的 2 个缺点，比较常见的有如下解决方案：

• 基于 I/O 复用模型：多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象上等待，无需阻塞等待所有连接。当某条连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理；
• 基于线程池复用线程资源：不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理，一个线程可以处理多个连接的业务。

I/O 复用结合线程池，这就是 Reactor 模式基本设计思想，如下图：

Reactor 模式，是指通过一个或多个输入同时传递给服务处理器的服务请求的事件驱动处理模式。

服务端程序处理传入多路请求，并将它们同步分派给请求对应的处理线程，Reactor 模式也叫 Dispatcher 模式。

即 I/O 多路复用统一监听事件，收到事件后分发(Dispatch 给某进程)，是编写高性能网络服务器的必备技术之一。

Reactor 模式中有 2 个关键组成：

• 1）Reactor：Reactor 在一个单独的线程中运行，负责监听和分发事件，分发给适当的处理程序来对 IO 事件做出反应。 它就像公司的电话接线员，它接听来自客户的电话并将线路转移到适当的联系人；
• 2）Handlers：处理程序执行 I/O 事件要完成的实际事件，类似于客户想要与之交谈的公司中的实际官员。Reactor 通过调度适当的处理程序来响应 I/O 事件，处理程序执行非阻塞操作。

根据 Reactor 的数量和处理资源池线程的数量不同，有 3 种典型的实现：

• 1）单 Reactor 单线程；
• 2）单 Reactor 多线程；
• 3）主从 Reactor 多线程。

下面详细介绍这 3 种实现方式。

单 Reactor 单线程

其中，Select 是前面 I/O 复用模型介绍的标准网络编程 API，可以实现应用程序通过一个阻塞对象监听多路连接请求，其他方案示意图类似。

方案说明：

• 1）Reactor 对象通过 Select 监控客户端请求事件，收到事件后通过 Dispatch 进行分发；
• 2）如果是建立连接请求事件，则由 Acceptor 通过 Accept 处理连接请求，然后创建一个 Handler 对象处理连接完成后的后续业务处理；
• 3）如果不是建立连接事件，则 Reactor 会分发调用连接对应的 Handler 来响应；
• 4）Handler 会完成 Read→业务处理→Send 的完整业务流程。

**优点：**模型简单，没有多线程、进程通信、竞争的问题，全部都在一个线程中完成。 **缺点：**性能问题，只有一个线程，无法完全发挥多核 CPU 的性能。Handler 在处理某个连接上的业务时，整个进程无法处理其他连接事件，很容易导致性能瓶颈。

可靠性问题，线程意外跑飞，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障。

使用场景：客户端的数量有限，业务处理非常快速，比如 Redis，业务处理的时间复杂度 O(1)。

单 Reactor 多线程

方案说明：

• 1）Reactor 对象通过 Select 监控客户端请求事件，收到事件后通过 Dispatch 进行分发；
• 2）如果是建立连接请求事件，则由 Acceptor 通过 Accept 处理连接请求，然后创建一个 Handler 对象处理连接完成后续的各种事件；
• 3）如果不是建立连接事件，则 Reactor 会分发调用连接对应的 Handler 来响应；
• 4）Handler 只负责响应事件，不做具体业务处理，通过 Read 读取数据后，会分发给后面的 Worker 线程池进行业务处理；
• 5）Worker 线程池会分配独立的线程完成真正的业务处理，如何将响应结果发给 Handler 进行处理；
• 6）Handler 收到响应结果后通过 Send 将响应结果返回给 Client。

**优点：**可以充分利用多核 CPU 的处理能力。 **缺点：**多线程数据共享和访问比较复杂；Reactor 承担所有事件的监听和响应，在单线程中运行，高并发场景下容易成为性能瓶颈。

主从 Reactor 多线程

针对单 Reactor 多线程模型中，Reactor 在单线程中运行，高并发场景下容易成为性能瓶颈，可以让 Reactor 在多线程中运行。

方案说明：

• 1）Reactor 主线程 MainReactor 对象通过 Select 监控建立连接事件，收到事件后通过 Acceptor 接收，处理建立连接事件；
• 2）Acceptor 处理建立连接事件后，MainReactor 将连接分配 Reactor 子线程给 SubReactor 进行处理；
• 3）SubReactor 将连接加入连接队列进行监听，并创建一个 Handler 用于处理各种连接事件；
• 4）当有新的事件发生时，SubReactor 会调用连接对应的 Handler 进行响应；
• 5）Handler 通过 Read 读取数据后，会分发给后面的 Worker 线程池进行业务处理；
• 6）Worker 线程池会分配独立的线程完成真正的业务处理，如何将响应结果发给 Handler 进行处理；
• 7）Handler 收到响应结果后通过 Send 将响应结果返回给 Client。

**优点：**父线程与子线程的数据交互简单职责明确，父线程只需要接收新连接，子线程完成后续的业务处理。

父线程与子线程的数据交互简单，Reactor 主线程只需要把新连接传给子线程，子线程无需返回数据。

这种模型在许多项目中广泛使用，包括 Nginx 主从 Reactor 多进程模型，Memcached 主从多线程，Netty 主从多线程模型的支持。

小结

3 种模式可以用个比喻来理解：（餐厅常常雇佣接待员负责迎接顾客，当顾客入坐后，侍应生专门为这张桌子服务）

• 1）单 Reactor 单线程，接待员和侍应生是同一个人，全程为顾客服务；
• 2）单 Reactor 多线程，1 个接待员，多个侍应生，接待员只负责接待；
• 3）主从 Reactor 多线程，多个接待员，多个侍应生。

Reactor 模式具有如下的优点：

• 1）响应快，不必为单个同步时间所阻塞，虽然 Reactor 本身依然是同步的；
• 2）编程相对简单，可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进程的切换开销；
• 3）可扩展性，可以方便的通过增加 Reactor 实例个数来充分利用 CPU 资源；
• 4）可复用性，Reactor 模型本身与具体事件处理逻辑无关，具有很高的复用性。

线程模型2：Proactor 模型

在 Reactor 模式中，Reactor 等待某个事件或者可应用或者操作的状态发生（比如文件描述符可读写，或者是 Socket 可读写）。

然后把这个事件传给事先注册的 Handler（事件处理函数或者回调函数），由后者来做实际的读写操作。

其中的读写操作都需要应用程序同步操作，所以 Reactor 是非阻塞同步网络模型。

如果把 I/O 操作改为异步，即交给操作系统来完成就能进一步提升性能，这就是异步网络模型 Proactor。

Proactor 是和异步 I/O 相关的，详细方案如下：

• 1）Proactor Initiator 创建 Proactor 和 Handler 对象，并将 Proactor 和 Handler 都通过 AsyOptProcessor（Asynchronous Operation Processor）注册到内核；
• 2）AsyOptProcessor 处理注册请求，并处理 I/O 操作；
• 3）AsyOptProcessor 完成 I/O 操作后通知 Proactor；
• 4）Proactor 根据不同的事件类型回调不同的 Handler 进行业务处理；
• 5）Handler 完成业务处理。

可以看出 Proactor 和 Reactor 的区别：

• 1）Reactor 是在事件发生时就通知事先注册的事件（读写在应用程序线程中处理完成）；
• 2）Proactor 是在事件发生时基于异步 I/O 完成读写操作（由内核完成），待 I/O 操作完成后才回调应用程序的处理器来进行业务处理。

理论上 Proactor 比 Reactor 效率更高，异步 I/O 更加充分发挥 DMA(Direct Memory Access，直接内存存取)的优势。

但是Proactor有如下缺点：

• 1）编程复杂性，由于异步操作流程的事件的初始化和事件完成在时间和空间上都是相互分离的，因此开发异步应用程序更加复杂。应用程序还可能因为反向的流控而变得更加难以 Debug；
• 2）内存使用，缓冲区在读或写操作的时间段内必须保持住，可能造成持续的不确定性，并且每个并发操作都要求有独立的缓存，相比 Reactor 模式，在 Socket 已经准备好读或写前，是不要求开辟缓存的；
• 3）操作系统支持，Windows 下通过 IOCP 实现了真正的异步 I/O，而在 Linux 系统下，Linux 2.6 才引入，目前异步 I/O 还不完善。

因此在 Linux 下实现高并发网络编程都是以 Reactor 模型为主。

Reactor和NIO的关系

Reactor 是一种设计模式，而 NIO（非阻塞 I/O）是一种 I/O 操作的实现方式，Reactor 模式可以使用 NIO 来实现，二者关系密切。

一、NIO 的特点和作用

1. 非阻塞特性：NIO 允许在单个线程中同时处理多个 I/O 操作，通过非阻塞的方式进行 I/O 读写，避免了传统阻塞 I/O 中线程在等待 I/O 操作完成时的阻塞状态，提高了系统的并发性能。
2. 通道（Channel）和缓冲区（Buffer）：NIO 引入了通道和缓冲区的概念。通道表示到实体（如文件、网络套接字等）的连接，而缓冲区则用于在通道和程序之间传输数据。这种方式使得数据的读写更加灵活和高效。
3. 选择器（Selector）：NIO 的选择器可以监视多个通道的 I/O 状态，当某个通道准备好进行读写操作时，选择器会通知相应的线程进行处理。这使得一个线程可以管理多个通道的 I/O 事件，进一步提高了系统的并发处理能力。

二、Reactor 模式的概念和组成

1. 设计模式：Reactor 模式是一种事件驱动的设计模式，用于处理多个并发的 I/O 事件。它将 I/O 操作的处理分离为事件的分发和事件的处理两个部分，通过一个或多个 Reactor 线程来分发事件，多个 Handler 线程来处理具体的事件。
2. 组成部分：Reactor 模式主要由 Reactor、Handler 和事件源组成。Reactor 负责监听和分发事件，Handler 负责具体的事件处理逻辑，事件源则是产生事件的实体，如网络连接、文件等。

三、Reactor 与 NIO 的结合

1. 使用 NIO 实现 Reactor：Reactor 模式可以利用 NIO 的非阻塞特性和选择器来实现高效的事件分发和处理。Reactor 线程使用选择器来监视多个通道的 I/O 事件，当有事件发生时，选择器会通知 Reactor 线程，Reactor 线程将事件分发给相应的 Handler 线程进行处理。
2. 优势：这种结合可以充分发挥 NIO 的高并发性能和 Reactor 模式的事件驱动特性，使得系统能够处理大量的并发 I/O 事件。同时，通过分离事件的分发和处理，提高了系统的可扩展性和可维护性。

例如，在一个基于 Reactor 模式和 NIO 实现的网络服务器中，Reactor 线程使用选择器监听多个网络连接的 I/O 事件，当有新的连接请求或者数据可读可写事件发生时，Reactor 线程将事件分发给相应的 Handler 线程进行处理，Handler 线程负责具体的网络数据读写和业务逻辑处理。

为什么netty要拆成boss和worker，把accept和read/write分开的好处是什么

Netty 将线程分为 boss 和 worker 两类，把 accept（连接接收）和 read/write（读写操作）分开，主要有以下好处：

一、提高并发处理能力

1. 职责分离：boss 线程专门负责监听和接收新的连接请求，而 worker 线程负责处理已建立连接的读写操作。这样可以让不同的线程专注于不同的任务，避免了单个线程既要处理连接请求又要处理读写操作时可能出现的阻塞和性能瓶颈。
2. 并行处理：由于 accept 和 read/write 操作由不同的线程组负责，可以同时进行。例如，在高并发的情况下，boss 线程可以快速地接收新的连接请求，而 worker 线程可以同时处理多个已建立连接的读写操作，从而提高系统的整体并发处理能力。

二、优化资源利用

1. 线程模型适配：不同的操作对系统资源的需求不同。连接接收通常是比较短暂的操作，主要涉及网络 I/O 的等待和少量的处理。而读写操作可能涉及更多的业务逻辑处理和数据传输，可能需要更多的时间和资源。通过将它们分开，可以根据不同的操作特点来优化线程的数量和资源分配。
2. 避免资源竞争：如果 accept 和 read/write 由同一个线程处理，可能会出现资源竞争的情况。例如，当一个连接的读写操作占用了大量时间时，可能会影响其他连接的接收。将它们分开后，可以减少这种资源竞争，提高系统的稳定性和性能。

三、提高系统可扩展性

1. 灵活配置：可以根据系统的实际需求，独立地调整 boss 和 worker 线程的数量。例如，如果系统主要面临大量的连接请求，可以增加 boss 线程的数量；如果系统的读写操作比较繁重，可以增加 worker 线程的数量。这种灵活的配置可以更好地适应不同的工作负载。
2. 易于扩展：当需要对系统进行扩展时，例如增加新的业务逻辑或者处理新的协议，可以在不影响连接接收的情况下，独立地对 worker 线程进行扩展和优化。这样可以降低系统扩展的复杂性，提高系统的可维护性和可扩展性。

综上所述，Netty 将 accept 和 read/write 分开，通过 boss 和 worker 线程的分工合作，提高了系统的并发处理能力、优化了资源利用，并提高了系统的可扩展性