工具
by smallnest

在Linux中查询CPU的核数

以一台Linux服务器为例。这台Linux包括两颗Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz CPU, 单颗CPU包括 10 个 cpu core, 使用超线程包含20个逻辑cpu core， 具体的官方介绍: E5-2630 V4。

下面让我们通过Linux的命令来查找对应的参数，看看是否符合官方的介绍, 主要是查看/proc/cpuinfo的信息获得。

阅读全文

工具
by smallnest

给 iTerm 设置代理

如果你用SS FQ的话， Shadow-Socks设置的系统代理是socks5代理，在iTerm中访问一些https还是不能用， 比如用go get下载一些依赖的库。一个办法就是使用Privoxy将socks5代理转换成http代理。

Privoxy

MacOS安装Privoxy比较简单。

1
2
3
4
5
6
7
8
9
10
11
12
13
-> brew install privoxy
==> Downloading https://homebrew.bintray.com/bottles/privoxy-3.0.26.sierra.bottl
######################################################################## 100.0%
==> Pouring privoxy-3.0.26.sierra.bottle.1.tar.gz
==> Caveats
To have launchd start privoxy now and restart at login:
  brew services start privoxy
Or, if you don't want/need a background service you can just run:
  privoxy /usr/local/etc/privoxy/config
==> Summary
?  /usr/local/Cellar/privoxy/3.0.26: 52 files, 1.8MB

你可以使用brew services start privoxy启动privoxy服务，或者手工临时启动privoxy /usr/local/etc/privoxy/config也可以。

如果中间需要brew link privoxy按照提示创建文件夹，比如/usr/local/sbin，设置对应的权限即可。

启动服务前先编辑vim /usr/local/etc/privoxy/config

1
2
3
4
5
6
listen-address 127.0.0.1:8087
forward-socks5 / 127.0.0.1:1080 .
forward 192.168.*.*/ .
forward 10.*.*.*/ .
forward 127.*.*.*/

8087是本机要监听的http代理地址， 1080是SS的socks5代理地址,还设置本地地址。

配置http代理

通过下面的环境变量就可以设置http代理。

1
2
export http_proxy=http://127.0.0.1:8087
export https_proxy=$http_proxy

你可以把它们写在 ~/.zshrc 或者 ~/.bash_profile中，随时切换。

1
2
alias goproxy='export http_proxy=http://127.0.0.1:8087 https_proxy=http://127.0.0.1:8087'
alias disproxy='unset http_proxy https_proxy'

参考

  1. https://segmentfault.com/a/1190000008848001
  2. https://honglu.me/2015/11/06/给iTerm终端设置代理/
工具
by smallnest

ldd、objdump、nm、strings、strip等工具

最近在做Docker镜像的时候发现镜像文件非常大，需要找出程序的依赖库，减少程序的大小，所以整理了一下相关的工具。基本上这些工具都在GNU Binutils中。

GNU Binary Utilities或binutils是一整套的编程语言工具程序，用来处理许多格式的目标文件。当前的版本原本由在Cygnus Solutions的程序员以Binary File Descriptor library（libbfd）所撰写。这个工具程序通常搭配GCC、make、和GDB这些程序来使用。

它包含20个左右的工具，本文介绍了我在创建Docker镜像的时候的使用的几种工具。

ldd

ldd不是GNU Binutils工具集中的一个工具，但是却是一个非常有用的工具， 它可以显示程序或者共享库所需的共享库。

例如:

1
2
3
4
5
   # ldd main
linux-vdso.so.1 =>  (0x00007ffc88fd4000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007faee13b8000)
libc.so.6 => /lib64/libc.so.6 (0x00007faee0feb000)
/lib64/ld-linux-x86-64.so.2 (0x00007faee15d4000)

依照ldd得手册， 有时候ldd会通过执行程序来获取依赖信息，对于来源不明的程序，执行这些程序可能会带来风险，所以对于来源不明的程序，可以使用objdump来分析。

objdump

onjdump可以显示目标文件的信息,可以通过参数控制要显示的内容。

比如-p可以显示文件头内容， 通过grep可以查看依赖的库。

1
2
3
4
# objdump -p  main|grep GLIBC
0x09691a75 0x00 02 GLIBC_2.2.5
0x09691972 0x00 03 GLIBC_2.3.2
0x09691a75 0x00 04 GLIBC_2.2.5

甚至可以查看-T可以查看动态符号表的内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# objdump -T  main|grep GLIBC
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 stderr
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 fwrite
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 vfprintf
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 fputc
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 abort
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 pthread_mutex_lock
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.3.2 pthread_cond_wait
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 pthread_mutex_unlock
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.3.2 pthread_cond_broadcast
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 pthread_create
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 nanosleep
0000000000000000      DO *UND*	0000000000000000  GLIBC_2.2.5 pthread_detach
......

nm

nm显示目标文件的符号。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# nm go/bin/glide |more
0000000000908680 r andMask
0000000000901d00 r bswapMask
00000000009036c0 r BSWAP_SHUFB_CTL
0000000000b000e0 B bufio.ErrAdvanceTooFar
0000000000b000f0 B bufio.ErrBufferFull
0000000000b00100 B bufio.ErrFinalToken
0000000000b00110 B bufio.ErrInvalidUnreadByte
0000000000b00120 B bufio.ErrInvalidUnreadRune
0000000000b00130 B bufio.ErrNegativeAdvance
0000000000b00140 B bufio.ErrNegativeCount
0000000000b00160 B bufio.errNegativeRead
0000000000b00170 B bufio.errNegativeWrite
0000000000b00150 B bufio.ErrTooLong
00000000004d9140 T bufio.init
0000000000b21120 B bufio.initdone.
00000000004d6510 T bufio.(*Reader).Buffered
00000000004d59d0 T bufio.(*Reader).Discard
00000000004d5590 T bufio.(*Reader).fill
00000000004d57c0 T bufio.(*Reader).Peek
00000000004d5b70 T bufio.(*Reader).Read
......

strings

strings显示文件中的可打印字符。

1
2
3
4
# strings main|grep GLIBC
GLIBC_2.2.5
GLIBC_2.3.2
GLIBC_2.2.5

strip

通过上面的工具，可以分析出文件的依赖库，创建Docker镜像的时候只需把所需的依赖库加进去即可。

如果程序本身比较大，可以将程序压缩，去掉不需要的一些数据， 比如使用strip进行裁剪。

你可以通过参数控制要丢掉的哪些符号。
比如去除符号表和行号信息：

1
strip main

libtool

Linux下的GNU Libtool是一种属于GNU建构系统的GNU程序设计工具，用来产生便携式的库。这里引用libtool手册的说明：

1
libtool --mode=compile gcc -g -O -c foo.c

MacOS下的libtool时另外一个工具，可以用来创建库：

1
2
libtool -dynamic -o c.dylib a.o b.o 
libtool -static -o c.a a.o b.o

ar

可以对静态库做创建、修改和提取的操作。

1
2
3
ar rv libNAME.a file1.o file2.o
ar -d lib.a conflict.o
ar -x lib.a

otool

比nm更强大，mac还有一个对应的图形化工具——MachOView。

查看依赖动态库：

1
otool -L a.out

查看反汇编代码段：

1
otool -v -t a.out
工具
by smallnest

如何整个替换git master分支?

最近需要将一个项目的master分支用另一个分支完全替换， 查找了相关资料，最后追溯到stackoverflow上的一个提问: How to replace master branch in git, entirely, from another branch？。

网友给出了两种方案。

假设需要将seotweaks分支替换成master。

1、

1
2
3
4
git checkout seotweaks
git merge -s ours master
git checkout master
git merge seotweaks

-s ours是--strategy=ours的简写。

2、
如果上面的操作有问题， 还可以使用下面这个方法：

1
2
3
git branch -m master old-master
git branch -m seotweaks master
git push -f origin master

-m用来重命名分支。

This might remove commits in origin master。

git cmd

工具
by smallnest

Convert Shadowsocks into an HTTP proxy

备用，不解释

socks5 to http proxy

1、 首先安装 polipo, 设置parent proxy to Ss:

1
2
3
apt-get install polipo
service polipo stop
polipo socksParentProxy=localhost:1080 &

macosx运行

1
2
brew install polipo
polipo socksParentProxy=localhost:1080 &

设置全局http proxy:

1
2
3
http_proxy=http://localhost:8123 apt-get update
http_proxy=http://localhost:8123 curl www.google.com
http_proxy=http://localhost:8123 wget www.google.com

对于git:

1
2
3
4
5
git config --global http.proxy 127.0.0.1:8123
git clone https://github.com/xxx/xxx.git
git xxx
git xxx
git config --global --unset-all http.proxy

glide mirror

1
2
3
4
5
6
7
8
9
$ rm -rf ~/.glide
$ mkdir -p ~/.glide
$ glide mirror set https://golang.org/x/mobile https://github.com/golang/mobile --vcs git
$ glide mirror set https://golang.org/x/crypto https://github.com/golang/crypto --vcs git
$ glide mirror set https://golang.org/x/net https://github.com/golang/net --vcs git
$ glide mirror set https://golang.org/x/tools https://github.com/golang/tools --vcs git
$ glide mirror set https://golang.org/x/text https://github.com/golang/text --vcs git
$ glide mirror set https://golang.org/x/image https://github.com/golang/image --vcs git
$ glide mirror set https://golang.org/x/sys https://github.com/golang/sys --vcs git
工具
by smallnest

常用配置文件格式

配置文件是工程中常用的初始化参数的配置方式，而配置文件的格式有很多种，不同的操作系统、编程语言都会有不同的配置文件的格式，本文罗列了一些常见的配置文件的格式。

不同的配置文件格式有不同的用户友好性， 对于功能的支持也有简单和复杂之分，很难简单说那种配置文件是最好的，有时候需要从多个方面去考虑， 比如Windows较早的开发喜欢使用int、java喜欢使用properties、通用的编程喜欢yaml、json等格式，本文也不会对这些格式进行排名，而是简单介绍一下这些格式，用户可以根据自己的实际情况进行选择。

阅读全文

工具
by smallnest

Mac OS X显示连接

Mac OSX中虽然带了 netstat工具，可是用起来不像Linux下那么爽， 一个是慢 (netstat -p tcp | grep $PORT)，二是不能pid，所以stackoverflow上建议使用lsof工具。

所以你可以使用下面的命令：

1
2
3
lsof -n -i4TCP:$PORT | grep LISTEN # Verified on macOS Sierra
lsof -n -iTCP:$PORT | grep LISTEN
lsof -n -i:$PORT | grep LISTEN

为了不显示端口的俗称，你可以加P参数：

1
2
3
lsof -nP -i4TCP:$PORT | grep LISTEN # Verified on macOS Sierra
lsof -nP -iTCP:$PORT | grep LISTEN
lsof -nP -i:$PORT | grep LISTEN

如果不想grep Listen,可以加-sTCP:LISTEN。

没有更多要说的了，谨记一下备用。

工具
by smallnest

在Nginx内部自动处理3XX跳转

利用Nginx很容易的配置反向代理和负载均衡的服务, 比如下面的配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
upstream backends {
      server 10.0.0.10:8080;
      server 10.0.0.11:8080;
      server 10.0.0.12:8080;
}
server{ 
    listen 8080; 
    location / { 
        proxy_pass         http://backends; 
        proxy_set_header   Host             $host; 
        proxy_set_header   X-Real-IP        $remote_addr; 
        proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for; 
    } 
}

它将客户端的请求转发给后台的三个服务器。 负载均衡的算法又多种， 比如轮询、least_conn、ip_hash、weight等算法，本文重点不介绍这方面的内容，而是下面的需求。

后端服务器可能返回 3XX的redirect的response, Nginx会把这个请求直接返回给客户端。现在我们的需求是让Nginx自己处理这个跳转，而客户端无感知。

阅读全文