Socket分片:基于Netty的Java实现

最近Nginx发布了1.9.1版,其中一个新的特性就是支持socket的SO_REUSEPORT选项。这个socket的SO_REUSEPORT选项已经有许多现实世界的应用。对NGINX而言,它通过将连接均衡的分给多个进程以提升性能。SO_REUSEPORT已经在一些操作系统上实现了支持。这个选项允许多个socket监听同一个IP地址+端口。内核负载均衡这些进来的sockets连接,将这些socket有效的分片。
尽管Java很早就有一个特性请求:JDK-6432031,但是时至今日,Oracle JDK依然不支持这个选项,因此我们只能通过hack的方式在Java中使用此特性。

Google已经在内部服务器中开启了这个特性: SO_REUSEPORT
Scaling Techniques for Servers with High Connection Rates

SO_REUSEPORT

就像聂永的博客中所说:

运行在Linux系统上网络应用程序,为了利用多核的优势,一般使用以下比较典型的多进程/多线程服务器模型:

  • 单线程listen/accept,多个工作线程接收任务分发,虽CPU的工作负载不再是问题,但会存在:
    • 单线程listener,在处理高速率海量连接时,一样会成为瓶颈
    • CPU缓存行丢失套接字结构(socket structure)现象严重
  • 所有工作线程都accept()在同一个服务器套接字上呢,一样存在问题:
    • 多线程访问server socket锁竞争严重
    • 高负载下,线程之间处理不均衡,有时高达3:1不均衡比例
    • 导致CPU缓存行跳跃(cache line bouncing)
    • 在繁忙CPU上存在较大延迟

上面模型虽然可以做到线程和CPU核绑定,但都会存在:

  • 单一listener工作线程在高速的连接接入处理时会成为瓶颈
  • 缓存行跳跃
  • 很难做到CPU之间的负载均衡
  • 随着核数的扩展,性能并没有随着提升

SO_REUSEPORT在*BSD平台早已经实现,而Linux平台则由谷歌工程师实现并于2013年正式纳入Linux的trunk (kernel 3.9)。

当前的操作系统支持情况:

  • Linux: 内核自3.9开始支持此特性。因此Redhat 7.0中支持。
  • BSD: 支持 (FreeBSD, DragonFly BSD. OpenBSD, NetBSD等)
  • Mac OS:支持
  • Windows: windows上只有SO_REUSEADDR选项,没有SO_REUSEPORT。windows上设置了SO_REUSEADDR的socket其行为与BSD上设定了SO_REUSEPORT和SO_REUSEADDRd的行为大致一样。
  • Solaris:Solaris 11中支持 (patch已打)

和SO_REUSEADDR的区别

SO_REUSEADDR提供如下四个功能

  1. SO_REUSEADDR允许启动一个监听服务器并捆绑一个端口,即使以前建立的将此端口用做他们的本地端口的连接仍存在(TIME_WAIT)。这通常是重启监听服务器时出现,若不设置此选项,则bind时将出错。
  2. SO_REUSEADDR允许在同一端口上启动同一服务器的多个实例,只要每个实例捆绑一个不同的本地IP地址即可。
  3. SO_REUSEADDR允许单个进程捆绑同一端口到多个套接口上,只要每个捆绑指定不同的本地IP地址即可。这一般不用于TCP服务器。
  4. SO_REUSEADDR允许完全重复的捆绑:当一个IP地址和端口绑定到某个套接口上时,还允许此IP地址和端口捆绑到另一个套接口上。一般来说,这个特性仅在支持多播的系统上才有,而且只对UDP套接口而言(TCP不支持多播)。

当使用通配符的时候更为复杂,这里有一张表格列出了各种情况(服务器的IP地址是192.168.0.1):

1
2
3
4
5
6
7
8
9
10
SO_REUSEADDR socketA socketB Result
---------------------------------------------------------------------
ON/OFF 192.168.0.1:21 192.168.0.1:21 Error (EADDRINUSE)
ON/OFF 192.168.0.1:21 10.0.0.1:21 OK
ON/OFF 10.0.0.1:21 192.168.0.1:21 OK
OFF 0.0.0.0:21 192.168.1.0:21 Error (EADDRINUSE)
OFF 192.168.1.0:21 0.0.0.0:21 Error (EADDRINUSE)
ON 0.0.0.0:21 192.168.1.0:21 OK
ON 192.168.1.0:21 0.0.0.0:21 OK
ON/OFF 0.0.0.0:21 0.0.0.0:21 Error (EADDRINUSE)

SO_REUSEPORT选项有如下语义

  1. 此选项允许完全重复捆绑,但仅在想捆绑相同IP地址和端口的套接口都指定了此套接口选项才行。
  2. 如果被捆绑的IP地址是一个多播地址,则SO_REUSEADDR和SO_REUSEPORT等效。

Netty的实现

Netty不是唯一通过hack方式实现SO_REUSEPORT特性的Java网络框架。比如下面的方式,使用sun.nio.ch.Net进行设置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import sun.nio.ch.Net;
......
public void setReusePort(ServerSocketChannel serverChannel) {
try {
Field fieldFd = serverChannel.getClass().getDeclaredField("fd");
//NoSuchFieldException
fieldFd.setAccessible(true);
FileDescriptor fd = (FileDescriptor)fieldFd.get(serverChannel);
//IllegalAccessException
Method methodSetIntOption0 =
Net.class.getDeclaredMethod("setIntOption0", FileDescriptor.class,
Boolean.TYPE, Integer.TYPE, Integer.TYPE, Integer.TYPE);
methodSetIntOption0.setAccessible(true);
methodSetIntOption0.invoke(null, fd, false, '\uffff',
SO_REUSEPORT, 1);
} catch (Exception e) {
System.out.println(e.toString());
}
}

但是本文将关注Netty,因为Netty提供了一个通过JNI封装的库,可以更方便的进行SO_REUSEPORT设置。
自4.0.16版本,Netty为Linux提供了 native socket transport,通过JNI的方式实现,它可以提供更高的性能和极少的垃圾回收。
它兼容NIO的方式,只需改成:

1
2
3
4
NioEventLoopGroup → EpollEventLoopGroup
NioEventLoop → EpollEventLoop
NioServerSocketChannel → EpollServerSocketChannel
NioSocketChannel → EpollSocketChannel

Maven pom.xml加入:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<build>
<extensions>
<extension>
<groupId>kr.motd.maven</groupId>
<artifactId>os-maven-plugin</artifactId>
<version>1.2.3.Final</version>
</extension>
</extensions>
...
</build>
<dependencies>
<dependency>
<groupId>io.netty</groupId>
<artifactId>netty-transport-native-epoll</artifactId>
<version>${project.version}</version>
<classifier>${os.detected.classifier}</classifier>
</dependency>
...
</dependencies>

SBT配置文件的话则加入:

1
"io.netty" % "netty-transport-native-epoll" % "${project.version}" classifier "linux-x86_64"

代码中设置SO_REUSEPORT:

1
bootstrap.option(EpollChannelOption.SO_REUSEPORT, true)

很简单,完整的代码可以参照: WebServer.scala

参考文档

  1. Socket Sharding in NGINX Release 1.9.1
  2. https://github.com/tokuhirom/jetty-so_reuseport-sample
  3. SO_REUSEPORT学习笔记
  4. http://www.cnblogs.com/mydomain/archive/2011/08/23/2150567.html
  5. http://stackoverflow.com/questions/14388706/socket-options-so-reuseaddr-and-so-reuseport-how-do-they-differ-do-they-mean-t
  6. http://blog.chinaunix.net/uid-26133817-id-4814341.html
  7. https://lwn.net/Articles/542629/
评论