by smallnest

在Go web服务器中实现prefork和affinity

Apache服务器可是使用prefork技术，启动多个独立的进程，每个进程独立的处理http请求，不需要担心线程安全的问题。

This Multi-Processing Module (MPM) implements a non-threaded, pre-forking web server that handles requests in a manner similar to Apache 1.3. It is appropriate for sites that need to avoid threading for compatibility with non-thread-safe libraries. It is also the best MPM for isolating each request, so that a problem with a single request will not affect any other.

尽管prefork在处理高并发的情况下并不高效，但是作为一个技术，倒是有启发我们的地方。我最近在调研Go服务器的性能看到一段代码，很优雅的实现了prefork和affinity的的功能，特地抄写在本文中，看看他是怎么实现的。

代码出处: WebFrameworkBenchmark go-fasthttp。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
package main

import (
	"flag"
	"fmt"
	"io"
	"log"
	"net"
	"os"
	"os/exec"
	"runtime"

	"github.com/valyala/fasthttp"
	"github.com/valyala/fasthttp/reuseport"
)

var (
	addr     = flag.String("addr", ":8080", "TCP address to listen to")
	prefork  = flag.Bool("prefork", false, "use prefork")
	affinity = flag.Bool("affinity", false, "use affinity for prefork")
	child    = flag.Bool("child", false, "is child proc")
)

func main() {
	flag.Parse()

	ln := getListener()

	if err := fasthttp.Serve(ln, requestHandler); err != nil {
		log.Fatalf("Error in ListenAndServe: %s", err)
	}
}

func requestHandler(ctx *fasthttp.RequestCtx) {
	io.WriteString(ctx, "Hello World")
}

func getListener() net.Listener {
	if !*prefork {
		ln, err := net.Listen("tcp4", *addr)
		if err != nil {
			log.Fatal(err)
		}
		return ln
	}

	if !*child {
		children := make([]*exec.Cmd, runtime.NumCPU())
		for i := range children {
			if !*affinity {
				children[i] = exec.Command(os.Args[0], "-prefork", "-child")
			} else {
				children[i] = exec.Command("taskset", "-c", fmt.Sprintf("%d", i), os.Args[0], "-prefork", "-child")
			}
			children[i].Stdout = os.Stdout
			children[i].Stderr = os.Stderr
			if err := children[i].Start(); err != nil {
				log.Fatal(err)
			}
		}
		for _, ch := range children {
			if err := ch.Wait(); err != nil {
				log.Print(err)
			}
		}
		os.Exit(0)
		panic("unreachable")
	}

	runtime.GOMAXPROCS(1)
	ln, err := reuseport.Listen("tcp4", *addr)
	if err != nil {
		log.Fatal(err)
	}
	return ln
}

这个程序使用fast-http简单的实现了一个web服务器，简单的返回一个hello world。

如果程序启动的时候加上了-prefork参数，它会使用exec.Command启动多个子进程，子进程的数量和CPU的核数相同(第51行)。

如果程序启动的时候加上了-prefork参数和"-affinity"参数，它会将子进程绑定在其中的一个CPU核上，这样这个子进程只会被这个CPU执行。

子进程限定了使用的原生线程为1: runtime.GOMAXPROCS(1)。

因为程序使用了reuseport,所以不会导致多个IP地址和端口被占用的情况，多个子进程可以共用相同的IP地址+端口监听。

需要注意的事，reuseport并不是所有的操作系统都支持，比如目前windows就不支持，所以只可能在高版本的Linux中使用。