by smallnest

Go Race Detector报假警?

最近写了一篇使用Go实现高效lock-free队列的[文章](使用 Go 实现 lock-free 的队列),主要是根据Maged M. Michael 和 Michael L. Scott 的论文中提到的两个算法，其中一个算法是利用两个lock实现分别控制head、tail实现的队列，算法都超级简单，所以使用Go实现起来也是非常的容易。

最近一位网友提了一个issue,发现使用go race detector很容易就报data race错误。上述论文已经发表了24年了，可以说久经学术界和工程界同仁的考验，但是这位网友也提供了可以重现的测试显示有data race问题，这是怎么回事呢？

阅读全文

by smallnest

使用 Go 实现 lock-free 的队列

队列(queue)是非常常用的一个数据结构，它只允许在表的前端（head）进行出队(dequeue)操作，而在表的后端（tail）进行入队(enqueue)操作。和栈数据结构一样，队列是一种操作受限制的线性表。进行插入操作的端称为队尾(tail)，进行删除操作的端称为队头(header)。

在并发环境中使用队列，就必须考虑到多线程(多纤程)并发读写的问题，可能存在多个写(入队)操作线程，同时也可能存在多个线程读操作线程，在这种情况下，我们要保证数据的不丢失，不重复，而且也要保证队列的功能不变，也就是先入先出的逻辑，只要存在数据，就可以出列。

诚然，通过一个排外锁可以实现队列的并发访问。一般实现队列的时候通过指针，而且只在队头队尾操作，所以这种排外锁保护的临界区并没有很复杂的执行逻辑，临界区的处理很快，所以一般情况下通过排外锁实现队列的效率已经很高了。但是在一些情况下，通过实现 lock-free 算法，我们可以进一步提升并发队列的性能。

本文介绍 lock-free queue 算法的一些背景知识，并实现了三种并发队列，并提供了性能测试的结果。

代码库可以在github上找到: smallnest/queue。

阅读全文

by smallnest

用Go撸一个二叉搜索树

前几天Redis的作者antirez说他朋友面试的时候考到排序问题，然后他说要是他也会考实现一个二叉搜索树，我说在中国某公司，据说面试直接就撸一个红黑树。不是说你技术渣，试问在座的各位有几个现在直接裸写出红黑树？

红黑树太过偏门，但是常用的二叉搜索树你能写出来吗？快排呢？堆排序呢？

阅读全文

by smallnest

Go并发编程一年回顾

距离我2019年的深入Go并发编程研讨课发布也有一年时间了。在Gopher Beijing 2019相关演讲后我整理了这一个8小时的课程，对有志于深入理解Go并发编程原理的同学从深度和广度上提供一些帮助。当然一年来我也一直关注着Go并发编程的演变，并且补充了池和并发模式的一些例子。对于官方的并发库来说，这一年来又有哪些变化呢，让我们快速回顾一下。

阅读全文

by smallnest

本地运行Go泛型代码

昨天 Ian Lance Taylor 和 Robert Griesemer 发布了Go泛型的新的草案(The Next Step for Generics), 国内外的Gopher反响非常的热烈，大家纷纷对草案和这个文章进行了解读，并且感觉这一版的Go泛型设计基本接近于Go的泛型目标，总之比前一个方案好太多了。

同时Ian也提供了一个在线编译的工具go2go，可以对Go泛型编程进行尝鲜。

如果在本地编译呢？

阅读全文

by smallnest

Go反模式之越俎代庖

反模式(anti-pattern或antipattern)又叫做反面模式，指的是在实践中经常出现但又低效或是有待优化的设计模式,是用来解决问题的带有共同性的不良方法。Andrew Koenig在1995年造了anti-pattern这个词，灵感来自于GoF的《设计模式》一书。

按《AntiPatterns》作者的说法，可以用至少两个关键因素来把反面模式和不良习惯、错误的实践或糟糕的想法区分开来：

  • 行动、过程和结构中的一些重复出现的乍一看是有益的，但最终得不偿失的模式
  • 在实践中证明且可重复的清晰记录的重构方案

维基百科上列出了一些反模式列表: 反面模式, 我开了☝系列，用来记录Go语言开发中的一些反模式。

这是第一篇，介绍 越俎代庖 反模式,或者叫做画蛇添足反模式，或者叫做镀金反模式(Gold plating)。 意思是指项目已经达到了设计的最高价值，结果还添加额外的功能，反而使项目变得很差。

阅读全文

by smallnest

[译]配置 sql.DB 获得更好的性能(2020年更新版)

原文在2020年4月9号做了更新，所以重新翻译了原文。

网上有很多教程介绍sql.DB, 以及如何使用它来执行SQL数据库查询和语句, 但是大部分都没有介绍SetMaxOpenConns（）、SetMaxIdleConns（）和SetConnmaxLifetime（）方法。事实上你可以使用这些方法来配置sql.DB的行为并改善其性能。

在这篇文章中，我想准确地解释这些设置的作用，并演示它们可能产生的（正面和负面）影响。

阅读全文

by smallnest

基于protobuf快速生成服务治理的RPC代码

rpcx是一个流行的Go语言实现的服务治理的框架，只要你简单会写Go的函数，你就能实现带服务治理的RPC服务，超级简单，比如下面的加法服务：

1
2
3
4
5
type Arith struct {}

func (a *Arith) Add(ctx context.Context, args int, reply *int) error {
    *reply = args + 100
}

但是，很多情况下，尤其在大型互联网公司中，常用Protobuf的proto文件定义数据类型(Message)和(Service)，这样做有一个好处，就是方便部门和部门、服务提供者和服务使用者之间沟通，通过 IDL 文件的方式更能精准的描述服务和数据类型。

比如下面的helloworld.proto，定义一个打招呼的服务(Greeter), 这个服务使用HelloRequest和HelloResponse做请求参数和返回结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
syntax = "proto3";

option go_package = "helloword";

package helloworld;

service Greeter {
  rpc SayHello (HelloRequest) returns (HelloReply) {}
}

message HelloRequest {
  string name = 1;
}

message HelloReply {
  string message = 1;
}

rpcx的用户也不止一次的提出希望rpcx也能支持从proto生成rpcx服务端和客户端的代码，现在可以宣布了，rpcxio组织提供了两个protoc的插件，可以方便的生成Go代码，和grpc插件的使用姿势一样：

  • protoc-gen-rpcx:基于官方的grpc插件，生成标准的protobuf GO类型和rpcx代码
  • protoc-gen-gogorpcx: 基于 gogo/protobuf的插件，可以生成性能更加优异、更多辅助代码的Go代码和rpcx代码

下面就介绍这两种工具的实现。

阅读全文

by smallnest

Redis 6.0 客户端缓存特性及实践

Redis 6.0 发布了。

Redis 6.0的新特性也是在一步步的讨论和优化中确定的。

很多的特性已经在之前的RC等版本中介绍过了。

但是正式GA版中也有一些新的变化:

@antirez 提到只是Redis历史上最大的一次版本更新，所以谨慎建议在应用的产品中还是多多测试评估，并且承诺一旦遇到大的bug就会紧急发布6.0.1版。果不其然，一天后就发布了 6.0.1版，修复了一个allocator的bug，这个bug是为了优化而引入的，现在暂时去掉了。

I just released Redis 6.0.1. Unfortunately there was a bug in Redis 6.0.0 introduced just a few days before the release, that only happens when using the non-default allocator (libc malloc in this case triggers it). Optimization reverted, 6.0.1 released. Sorry for the issue.

本文主要关注Client side caching(客户端缓存)这一特性。

smallnest/RESP3 是Redis RESP3协议的解析库，你可以使用它和Redis底层通讯，或者包装它实现新版的Redis client库或者Redis Server端。

阅读全文