Docker
by smallnest

怎样在后台模式中登录一个docker容器的bash?

Ask Ubuntu上有人问怎么能login或者ssh一个运行的docker容器。
例如

1
2
3
4
5
$ sudo docker run -d webserver
webserver is clean image from ubuntu:14.04
$ sudo docker ps
CONTAINER ID  IMAGE            COMMAND    CREATED STATUS  PORTS          NAMES
665b4a1e17b6  webserver:latest /bin/bash  ...     ...     22/tcp, 80/tcp loving_heisenberg

想进行这样的登录:

1
2
3
4
$ sudo docker run -t -i webserver (or maybe 665b4a1e17b6 instead)
$ root@665b4a1e17b6:/# 
However when I run the line above I get new CONTAINER ID
$ root@42f1e37bd0e5:/#

阅读全文

工具
by smallnest

基于Golang将MongoDB的数据同步到Elasticsearch

Elasticsearch是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。Elasticsearch 是一个基于Lucene实现的搜索服务器，用Java开发实现。它提供了RESTful web接口，并作为Apache许可条款下的开放源码发布，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Elasticsearch关键概念

Cluster集群

有相同集群名称的节点Node的集合。集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。


Cluster集群


Node节点

一个elasticsearch运行的实例。其实就是一个java进程。一般情况下，一个节点运行在一台机器上。

Shards分片

代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。

Replicas副本

代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。

Recovery恢复

代表数据恢复或叫数据重新分布，es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

River

代表es的一个数据源，也是其它存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个es服务，通过读取river中的数据并把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。River在1.5中弃用了，2.0中移除了。

Gateway

代表es索引快照的存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储，当这个es集群关闭再重新启动时就会从gateway中读取索引备份数据。es支持多种类型的gateway，有本地文件系统（默认），分布式文件系统，Hadoop的HDFS和amazon的s3云存储服务。

Discovery.zen

代表es的自动发现节点机制，es是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。

Transport

代表es内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。

Index索引

Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的table概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。

Document

Elasticsearch里面存储的实体数据，类似于关系数据中一个table里面的一行数据。 document由多个field组成，不同的document里面同名的field一定具有相同的类型。document里面field可以重复出现，也就是一个field会有多个值，即multivalued。

Document type

为了查询需要，一个index可能会有多种document，也就是document type，但需要注意，不同document里面同名的field一定要是相同类型的。

Mapping

存储field的相关映射信息，不同document type会有不同的mapping。

阅读全文

工具
by smallnest

Mongodb 定期备份

在生产系统中，数据库的备份是必要的，否则当服务器被攻击，硬盘坏掉，运维误删等原因将数据库干掉的时候就欲哭无泪了。

备份MongoDB数据库常见的方式有三种：

本文介绍第三种简单的备份，对于备份数据量不是太大的数据库还是很有效的。

阅读全文

工具
by hopestar

Nginx 限流

电商平台营销时候，经常会碰到的大流量问题，除了做流量分流处理，可能还要做用户黑白名单、信誉分析，进而根据用户ip信誉权重做相应的流量拦截、限制流量。
Nginx自身有的请求限制模块ngx_http_limit_req_module、流量限制模块ngx_stream_limit_conn_module基于令牌桶算法，可以方便的控制令牌速率，自定义调节限流，实现基本的限流控制。

对于提供下载的网站，肯定是要进行流量控制的，例如软件下载站、视频服务等。
它也可以减少一些爬虫程序或者DDOS的攻击。

对这两个模块的介绍的文章也不少，这里转载一篇hopestar的文章: nginx限制IP连接数的范例参考， 因为他介绍的很简洁。

下面文章的limit_zone指令已经被弃用，请用limit_conn_zone替换

阅读全文

Linux
by smallnest

Virtualbox mount共享文件夹错误

最近创建了一个Centos 7的虚拟机，使用的是virtualbox 版本 5.0.6 r103037。
安装了增强包之后，依然无法挂载共享文件夹，报错如下：

1
2
[...]# mount -t vboxsf share /mnt/share
/sbin/mount.vboxsf: mounting failed with the error: No such device

用redhat 6.4是正常的。
stackoverflow有人也遇到了这个问题，解决办法如下：

1
modprobe -a vboxguest vboxsf vboxvideo

特别记录下来以备将来查询。

你也可以在/etc/modules-load.d/创建要加载的模块，一个文件加载一个模块，如:

1
2
3
4
/etc/modules-load.d/vboxsf.conf
# Load vboxsf.ko at boot
vboxsf

这样启动的时候就将相应的模块加载进来了。

Docker
by smallnest

创建超小的Golang docker 镜像

Docker是PaaS供应商dotCloud开源的一个基于LXC 的高级容器引擎，源代码托管在 GitHub 上, 基于Go语言开发并遵从Apache 2.0协议开源。正如DockerPool在免费Docker电子书Docker —— 从入门到实践中这样提到的：

作为一种新兴的虚拟化方式，Docker 跟传统的虚拟化方式相比具有众多的优势。

首先，Docker 容器的启动可以在秒级实现，这相比传统的虚拟机方式要快得多。 其次，Docker 对系统资源的利用率很高，一台主机上可以同时运行数千个 Docker 容器。

容器除了运行其中应用外，基本不消耗额外的系统资源，使得应用的性能很高，同时系统的开销尽量小。传统虚拟机方式运行 10 个不同的应用就要起 10 个虚拟机，而Docker 只需要启动 10 个隔离的应用即可。

Docker让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。

阅读全文

Linux
by smallnest

Linux Signal及Golang中的信号处理

信号(Signal)是Linux, 类Unix和其它POSIX兼容的操作系统中用来进程间通讯的一种方式。一个信号就是一个异步的通知，发送给某个进程，或者同进程的某个线程，告诉它们某个事件发生了。
当信号发送到某个进程中时，操作系统会中断该进程的正常流程，并进入相应的信号处理函数执行操作，完成后再回到中断的地方继续执行。
如果目标进程先前注册了某个信号的处理程序(signal handler),则此处理程序会被调用，否则缺省的处理程序被调用。

阅读全文

Go
by smallnest

交叉编译Go程序

Go 1.5以前，交叉编译程序还是有一点麻烦的，你需要massive scripts t来编译和宿主机器不同的程序。

正如 comes with support for all architectures built in文章中介绍的， Go 1.5可就简单的多了，你只需设置 GOOS 和 GOARCH 两个环境变量就能生成所需平台的Go程序。

比如使用下面的代码测试：

1
2
3
4
5
6
7
8
package main
import "fmt"
import "runtime"
func main() {
    fmt.Printf("OS: %s\nArchitecture: %s\n", runtime.GOOS, runtime.GOARCH)
}

编译它： $ GOOS=darwin GOARCH=386 go build test.go
就可以生成运行在OS X上的程序。

阅读全文

Go
by smallnest

几种Go序列化库的性能比较

序列化库在网络传输，RPC，数据库访问等环境中经常用到，它的性能的好坏直接影响着整个产品的性能。
本文列出了几种高性能的Go语言的序列化库，并通过一个简单的无循环引用的数据结构测试它们的性能。
测试代码: gosercomp at github

03/14/2016 更新。 增加Thrift/Avro/Gencode的性能比较。

阅读全文