翻译自 Kafka/Confluent 公司的工程师 Travis Jeffery 的文章: How Kafka’s Storage Internals Work。

通过本文我会帮助你理解Kafka是如何存储它的数据的。
对于调优Kafka的性能以及了解broker配置实际是干什么的， 了解Kafka的存储很有用。 我受Kafka的简单性的启发， 用我所学开始实现一个Go的Kafka: jocko。

那么， Kafka存储内部是如何工作的呢？

阅读全文

自 Go 1.5开始， Go的GOMAXPROCS默认值已经设置为 CPU的核数， 这允许我们的Go程序充分使用机器的每一个CPU,最大程度的提高我们程序的并发性能， 而且，在大部分情况下， 我们并不会去设置这个参数。因为默认值已经足够好了， 以至于fasthttp的作者valyala提议禁止runtime.GOMAXPROCS设置这个数值, 对于所有的case, GOMAXPROCS默认值是否是最好的值呢？

badger的作者Manish Rai Jain就遇到了这样一个问题。

阅读全文

大家好，给大家介绍一下， 新晋的高性能的 K/V数据库: badger。

这是 dgraph.io开发的一款基于 log structured merge (LSM) tree 的 key-value 本地数据库， 使用 Go 开发。

事实上，市面上已经有一些知名的基于LSM tree的k/v数据库， 比如 leveldb、goleveldb、rocksdb、boltdb, 可是为什么还要创造新的轮子呢。我们不妨从LSM说起。

阅读全文

备用，不解释

socks5 to http proxy

1、 首先安装 polipo, 设置parent proxy to Ss:

1
2
3

apt-get install polipo
service polipo stop
polipo socksParentProxy=localhost:1080 &

macosx运行

1
2

brew install polipo
polipo socksParentProxy=localhost:1080 &

设置全局http proxy:

1
2
3

http_proxy=http://localhost:8123 apt-get update
http_proxy=http://localhost:8123 curl www.google.com
http_proxy=http://localhost:8123 wget www.google.com

对于git:

1
2
3
4
5

git config --global http.proxy 127.0.0.1:8123
git clone https://github.com/xxx/xxx.git
git xxx
git xxx
git config --global --unset-all http.proxy

glide mirror

1
2
3
4
5
6
7
8
9

$ rm -rf ~/.glide
$ mkdir -p ~/.glide
$ glide mirror set https://golang.org/x/mobile https://github.com/golang/mobile --vcs git
$ glide mirror set https://golang.org/x/crypto https://github.com/golang/crypto --vcs git
$ glide mirror set https://golang.org/x/net https://github.com/golang/net --vcs git
$ glide mirror set https://golang.org/x/tools https://github.com/golang/tools --vcs git
$ glide mirror set https://golang.org/x/text https://github.com/golang/text --vcs git
$ glide mirror set https://golang.org/x/image https://github.com/golang/image --vcs git
$ glide mirror set https://golang.org/x/sys https://github.com/golang/sys --vcs git

本文转自饿了么的高级架构师陈东明(cadem)发布于云栖社区的文章: KV存储的对比。作者还整理了另外一篇文章: 存储系统的分类,列举了常见的一些kv存储模型和实现。

最近对各种KV存储进行一个比较，从存储引擎到存储引擎的类型，到单机版的kvstore，再到分布式kvstore集群。

阅读全文

Monad 函数式编程中的一个概念， 在 Haskell 和 Scala 语言中用的比较多。

阅读全文

Let's Encrypt 在2015年秋季推出了免费的数字证书认证计划，旨在消除当前手动创建和安装证书的复杂性，并推广加密的万维网服务，为安全网站提供免费的SSL/TLS证书。
Let's Encrypt 是由互联网安全研究小组（ISRG，一个公益组织）提供的服务。主要赞助商包括电子前哨基金会，Mozilla基金会，Akamai以及思科。2015年4月9日，ISRG与Linux基金会宣布合作。

用以实现这一新的数字证书认证机构的协议被称为自动证书管理环境（ACME）。提案的一个版本已作为一个Internet草案发布。

目前， 申请证书的域名只能是特定的域名， 不支持通配符证书(*.example.com)，这对于一个拥有众多子域名的公司来说很不方便。但是今年已经说了，将于2018年1月支持通配符证书和ACME v2 API。

阅读全文

原文：Distributed systems theory for the distributed systems engineer

译者：youngsterxyf

Gwen Shapira，大腕级的解决方案架构师（SA），如今Cloudera的全职工程师，在Twitter上提的一个问题引起了我的思考。

如果是以前，我可能会回答“嗯，这里有篇FLP论文，这里有篇Paxos论文，这里还有篇拜占庭将军问题的论文...”，我会罗列一箩筐重要的材料，如果你一头扎进去，至少花费6个月的时间才能过一遍这些材料。然而我已逐渐明白推荐大量的理论性的论文通常恰恰是着手学习分布式系统理论的错误方式（除非你在做一个PhD项目）。论文通常比较深入难懂，需要认真地研习，通常还需要大量的时间投入(significant experience)来理清这些论文的重要贡献，以及在整个理论体系中的位置。要求工程师具备这样的专业水平又有多大的意义呢？

但是，很遗憾，对分布式系统理论方面的重大研究成果和思想进行概括、归纳、背景分析的‘导引’性质的优秀材料非常缺乏；特别是没有居高临下态度的材料。对这块空白区域的思考让我想到了另一个有趣的问题：

一个分布式系统工程师应该知道些什么分布式系统理论？

在这种情况下，一知半解(a little theory)并不会是一件多危险的事情。因此我尝试整理一个列表，罗列出作为一个分布式系统工程师的我认为能够直接应用于我日常工作的一些基本概念；或者让分布式系统工程师完全有能力设计一个新系统的“筹码”。如果你认为我漏掉了一些东西，请联系我。

阅读全文

BCC 是基于 BPF 的 Linux IO 分析、监控、网络工具集合。BPF Compiler Collection (BCC) 是创建高效内核追踪和处理程序的工具包，包含几个有用的工具和用例。BCC 扩展了 BPF (Berkeley Packet Filters) 的用途，BPF 之前被称为 eBPF，是 Linux 3.15 新增的一个新特性。BCC 大部分的功能都要求 Linux 4.1+。

本文翻译自性能分析大牛Brendan Gregg的 2017年中旬的一篇文章: Golang bcc/BPF Function Tracing, 介绍如何使用最新的工具更加深入的分析Go程序。

阅读全文

配置文件是工程中常用的初始化参数的配置方式，而配置文件的格式有很多种，不同的操作系统、编程语言都会有不同的配置文件的格式，本文罗列了一些常见的配置文件的格式。

不同的配置文件格式有不同的用户友好性， 对于功能的支持也有简单和复杂之分，很难简单说那种配置文件是最好的，有时候需要从多个方面去考虑， 比如Windows较早的开发喜欢使用int、java喜欢使用properties、通用的编程喜欢yaml、json等格式，本文也不会对这些格式进行排名，而是简单介绍一下这些格式，用户可以根据自己的实际情况进行选择。

阅读全文