这两年来我一直在做网络故障监控的工作，经常使用的一个手段就是发送一些探测包进行网络的探测，根据丢包和时延，再结合网络拓扑等手段分析现网网络故障。因为要监控的是度厂全部网络的质量状况，并且需要很高的精度去覆盖网络设备、板卡、端口以及他们之间映射等所有的路径，所以需要尽量发送高频的探测包去快准狠的感知到故障并发现。
同时，和业务网络程序的不一样，业务程序一般是业务层代码，TCP的重传的机制，或者业务换个五元组重连一次，就会绕过网络中的故障，而网络监控也需要把这个链路中这些故障找出来，经常我会使用UDP或者TCP的握手包进行网络的探测，再不济使用ICMP协议进行网络的探测。

经常有人会说，现在都两个服务器间都能实现几十上百万的requests/second了，比如我们访问Redis节点，但是『达到』和『产品化可用』是两回事，也很少有人将redis节点在几十万的qps之下常态运行，我们还得考虑丢包的情况和时延的情况。

但是不管怎样，benchmark的工作我们还是要做的，这是我们评价我们的程序的一个基准，实际运行中我们可能使用这个基本的1/10的能力，以便保证程序的稳定性和CPU、内存、时延要求等。我写本文的目的，也是在测试机上进行这样的benchmark，检查网络方案的能力。

• 首先使用一个普通的UDP程序进行百万pps (packets per second)的测试
• 介绍XDP技术,实现一个简单的网络统计程序
• 使用XDP技术实现echo能力，替换原来的UDP server, 将CPU使用率几乎降为0

阅读全文

新开一个Go编程系列，主要讲Go语言的高级编程技术，希望能像《Go并发编程指南》一样形成一个系列，不要断更。

这一篇是使用gopacket库编程的一部分，主要是通过手工构造数据链路层、网络层、传输层的包，实现扫描全网(示例中是中国大陆的) ipv4的IP地址，看看对应的网络是否可达。 首先我们需要知道全网的IP地址，其实我们可以使用fping探测这些IP是否连通，然后我们自己基于ICMP快速扫描这些IP,找出全网活跃的IP地址，最后我们使用tcp scan的方式扫描全网的IP,甚至你可以扫描公网上暴露的Redis实例。

阅读全文

荷兰政府最近被迫发布其DigiD数字认证iOS应用程序的源代码，好事者在review它的代码时，发现了一段非常有趣的函数:

阅读全文

前一段时间我尝试为orcaman/concurrent-map实现泛型的支持时，遭遇到为任意类型计算哈希值的问题，现在这个库也自己实现了泛型支持，你也可以看到它的哈希也没有好的办法，只能提供出一个函数对象让用户自己实现。当然你也可以参考[cornelk/hashmap/blob/36b3b9c2b7ec993f1ef12a6957d45826aca726e6/util_hash.go#L49)中的实现，但是它的实现既不全面也不高效？

我们经常会在一些场景，比如特定的数据结构、cache等场景中使用这样一个哈希函数，那么如何为任务类型实现一个优雅高效的hash函数呢？其实Go运行时中map中就实现了。回想一下内建的map是不是支持泛型的？它的key可以是comparable类型(包括接口类型),内部实现中会把此类型的key计算一个哈希值，能不能吧它的hash函数拿出来使用？很遗憾，Go官方并没有想暴露出来这样的hasher的想法，它的代码也是不容易抽取整理成一个hasher函数。

今天看到一篇文章Hacking Go's Runtime with Generics,提供了一种方法，脑洞大开。没看之前确实没想到，看到之后才发觉这么简单有效，接下来我翻译了这么文章，赶快学习吧。

阅读全文

在今年的国外的黑色星期五(类似国内的双十一购物季)， Shopify公司取得了亮眼的成绩，他们的工程团队给出了以下的技术的数据：

阅读全文

避免重复发明轮子。如果有一些好用的库，我们就直接使用就好了，没必要做一些重复的工作，如果这些库不能满足需求，不妨提交pull request或者clone 它们，提升它们，优化它们，当前前提是你得知道它们。

这篇文章给大家介绍一些关于时间和类似linux cron功能的定时任务库。

阅读全文

书接上回:零拷贝技术第一篇：综述, 我们留了一个小尾巴，还没有介绍Go语言中零拷贝技术的应用，那么本文将带你了解Go标准库中零拷贝技术。

阅读全文

零拷贝(zero copy)在一些语境下指代的意思有所不同,本文讲的零拷贝就是大家常说的，通过这个技术让CPU释放出来不去执行内存中数据拷贝的功能，或者避免不必要的拷贝，所以说零拷贝不是没有数据的拷贝(复制)，而是广义上讲的减少和避免不必要的数据拷贝,可以用来节省CPU使用和内带宽等，比如通过网络高速传输文件、实现网络proxy等等，零拷技术可以极大的提高程序的性能。

阅读全文

Go语言是一个极容易上手的语言，而且Go程序的优化套路基本上被大家莫得清清楚楚的，如果你有心，可以在互联网上搜出很多Go程序优化的技巧，有些文章可能只介绍了几个优化点，有些文章从CPU的架构到Slice预分配，再到通过pprof找性能的瓶颈点等等全面介绍Go程序的优化，所以说可见的手段基本上被大家摸得门清，最近老貘出了一道题，如下所示，可以看到大家对Go语言的优化已经摸的多深了。

阅读全文

Rust 越来越得到广泛的应用，尤其对于追求性能的系统编程领域，最近还正式进入了Linux 内核的主干，并预计在 6.1 版本中正式使用。

Rust 虽然设计理念独树一帜，性能也是那么的优秀，但是学习起来并不简单，学习曲线很陡。同时由于Rust不像Go语言一样，不受某一家公司的控制，看起来在开源方面貌似很“Open”,所以也得到了广大开发者的青睐，贡献了许多库，不乏高质量的库，甚至比标准库的质量和使用率还高，这也带来了一些问题。其他语言，比如Go语言，它的标准库相当的优秀，比如一堆优秀高质量的并发原语，在开发者在开发并发程序的时候，需要同步控制和任务编排时，脑海中第一选择就是标准库的并发原语，实在找不到合适的并发原语才去找第三方的库。但是Rust不一样，虽然标准库也提供了一些优秀的并发原语，但是限于语言的特性，使用起来相当的复杂，也有很多第三方的库提供性能更好或者特性更多或者更易使用的功能，所以在使用Rust开发并发程序的时候，很多开发者对并发逻辑的控制无从下手，或者有“选择困难症”，所以我专门开了一个序列，准备系统的介绍 Rust的并发编程的知识，通过一百多个简短而明确的例子，全面介绍Rust的并发编程和相关库的使用：rust programming via rust .

阅读全文