给 iTerm 设置代理

如果你用SS FQ的话, Shadow-Socks设置的系统代理是socks5代理,在iTerm中访问一些https还是不能用, 比如用go get下载一些依赖的库。一个办法就是使用Privoxy将socks5代理转换成http代理。

Privoxy

MacOS安装Privoxy比较简单。

1
2
3
4
5
6
7
8
9
10
11
12
13
-> brew install privoxy
==> Downloading https://homebrew.bintray.com/bottles/privoxy-3.0.26.sierra.bottl
######################################################################## 100.0%
==> Pouring privoxy-3.0.26.sierra.bottle.1.tar.gz
==> Caveats
To have launchd start privoxy now and restart at login:
brew services start privoxy
Or, if you don't want/need a background service you can just run:
privoxy /usr/local/etc/privoxy/config
==> Summary
? /usr/local/Cellar/privoxy/3.0.26: 52 files, 1.8MB

你可以使用brew services start privoxy启动privoxy服务,或者手工临时启动privoxy /usr/local/etc/privoxy/config也可以。

如果中间需要brew link privoxy按照提示创建文件夹,比如/usr/local/sbin,设置对应的权限即可。

启动服务前先编辑vim /usr/local/etc/privoxy/config

1
2
3
4
5
6
listen-address 127.0.0.1:8118
forward-socks5 / 127.0.0.1:1080 .
forward 192.168.*.*/ .
forward 10.*.*.*/ .
forward 127.*.*.*/

8118是本机要监听的http代理地址, 1080是SS的socks5代理地址,还设置本地地址。

配置http代理

通过下面的环境变量就可以设置http代理。

1
2
export http_proxy=http://127.0.0.1:8087
export https_proxy=$http_proxy

你可以把它们写在 ~/.zshrc 或者 ~/.bash_profile中,随时切换。

1
2
alias goproxy='export http_proxy=http://127.0.0.1:8087 https_proxy=http://127.0.0.1:8087'
alias disproxy='unset http_proxy https_proxy'

参考

  1. https://segmentfault.com/a/1190000008848001
  2. https://honglu.me/2015/11/06/给iTerm终端设置代理/

ldd、objdump、nm、strings、strip等工具

最近在做Docker镜像的时候发现镜像文件非常大,需要找出程序的依赖库,减少程序的大小,所以整理了一下相关的工具。基本上这些工具都在GNU Binutils中。

GNU Binary Utilities或binutils是一整套的编程语言工具程序,用来处理许多格式的目标文件。当前的版本原本由在Cygnus Solutions的程序员以Binary File Descriptor library(libbfd)所撰写。这个工具程序通常搭配GCC、make、和GDB这些程序来使用。

它包含20个左右的工具,本文介绍了我在创建Docker镜像的时候的使用的几种工具。

ldd

ldd不是GNU Binutils工具集中的一个工具,但是却是一个非常有用的工具, 它可以显示程序或者共享库所需的共享库。

例如:

1
2
3
4
5
# ldd main
linux-vdso.so.1 => (0x00007ffc88fd4000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007faee13b8000)
libc.so.6 => /lib64/libc.so.6 (0x00007faee0feb000)
/lib64/ld-linux-x86-64.so.2 (0x00007faee15d4000)

依照ldd得手册, 有时候ldd会通过执行程序来获取依赖信息,对于来源不明的程序,执行这些程序可能会带来风险,所以对于来源不明的程序,可以使用objdump来分析。

objdump

onjdump可以显示目标文件的信息,可以通过参数控制要显示的内容。

比如-p可以显示文件头内容, 通过grep可以查看依赖的库。

1
2
3
4
# objdump -p main|grep GLIBC
0x09691a75 0x00 02 GLIBC_2.2.5
0x09691972 0x00 03 GLIBC_2.3.2
0x09691a75 0x00 04 GLIBC_2.2.5

甚至可以查看-T可以查看动态符号表的内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# objdump -T main|grep GLIBC
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 stderr
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 fwrite
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 vfprintf
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 fputc
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 abort
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 pthread_mutex_lock
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.3.2 pthread_cond_wait
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 pthread_mutex_unlock
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.3.2 pthread_cond_broadcast
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 pthread_create
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 nanosleep
0000000000000000 DO *UND* 0000000000000000 GLIBC_2.2.5 pthread_detach
......

nm

nm显示目标文件的符号。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# nm go/bin/glide |more
0000000000908680 r andMask
0000000000901d00 r bswapMask
00000000009036c0 r BSWAP_SHUFB_CTL
0000000000b000e0 B bufio.ErrAdvanceTooFar
0000000000b000f0 B bufio.ErrBufferFull
0000000000b00100 B bufio.ErrFinalToken
0000000000b00110 B bufio.ErrInvalidUnreadByte
0000000000b00120 B bufio.ErrInvalidUnreadRune
0000000000b00130 B bufio.ErrNegativeAdvance
0000000000b00140 B bufio.ErrNegativeCount
0000000000b00160 B bufio.errNegativeRead
0000000000b00170 B bufio.errNegativeWrite
0000000000b00150 B bufio.ErrTooLong
00000000004d9140 T bufio.init
0000000000b21120 B bufio.initdone.
00000000004d6510 T bufio.(*Reader).Buffered
00000000004d59d0 T bufio.(*Reader).Discard
00000000004d5590 T bufio.(*Reader).fill
00000000004d57c0 T bufio.(*Reader).Peek
00000000004d5b70 T bufio.(*Reader).Read
......

strings

strings显示文件中的可打印字符。

1
2
3
4
# strings main|grep GLIBC
GLIBC_2.2.5
GLIBC_2.3.2
GLIBC_2.2.5

strip

通过上面的工具,可以分析出文件的依赖库,创建Docker镜像的时候只需把所需的依赖库加进去即可。

如果程序本身比较大,可以将程序压缩,去掉不需要的一些数据, 比如使用strip进行裁剪。

你可以通过参数控制要丢掉的哪些符号。
比如去除符号表和行号信息:

1
strip main

如何整个替换git master分支?

最近需要将一个项目的master分支用另一个分支完全替换, 查找了相关资料,最后追溯到stackoverflow上的一个提问: How to replace master branch in git, entirely, from another branch?

网友给出了两种方案。

假设需要将seotweaks分支替换成master

1、

1
2
3
4
git checkout seotweaks
git merge -s ours master
git checkout master
git merge seotweaks

-s ours--strategy=ours的简写。

2、
如果上面的操作有问题, 还可以使用下面这个方法:

1
2
3
git branch -m master old-master
git branch -m seotweaks master
git push -f origin master

-m用来重命名分支。

This might remove commits in origin master

git cmd

Convert Shadowsocks into an HTTP proxy

备用,不解释

socks5 to http proxy

1、 首先安装 polipo, 设置parent proxy to Ss:

1
2
3
apt-get install polipo
service polipo stop
polipo socksParentProxy=localhost:1080 &

macosx运行

1
2
brew install polipo
polipo socksParentProxy=localhost:1080 &

设置全局http proxy:

1
2
3
http_proxy=http://localhost:8123 apt-get update
http_proxy=http://localhost:8123 curl www.google.com
http_proxy=http://localhost:8123 wget www.google.com

对于git:

1
2
3
4
5
git config --global http.proxy 127.0.0.1:8123
git clone https://github.com/xxx/xxx.git
git xxx
git xxx
git config --global --unset-all http.proxy

glide mirror

1
2
3
4
5
6
7
8
9
$ rm -rf ~/.glide
$ mkdir -p ~/.glide
$ glide mirror set https://golang.org/x/mobile https://github.com/golang/mobile --vcs git
$ glide mirror set https://golang.org/x/crypto https://github.com/golang/crypto --vcs git
$ glide mirror set https://golang.org/x/net https://github.com/golang/net --vcs git
$ glide mirror set https://golang.org/x/tools https://github.com/golang/tools --vcs git
$ glide mirror set https://golang.org/x/text https://github.com/golang/text --vcs git
$ glide mirror set https://golang.org/x/image https://github.com/golang/image --vcs git
$ glide mirror set https://golang.org/x/sys https://github.com/golang/sys --vcs git

常用配置文件格式

配置文件是工程中常用的初始化参数的配置方式,而配置文件的格式有很多种,不同的操作系统、编程语言都会有不同的配置文件的格式,本文罗列了一些常见的配置文件的格式。

不同的配置文件格式有不同的用户友好性, 对于功能的支持也有简单和复杂之分,很难简单说那种配置文件是最好的,有时候需要从多个方面去考虑, 比如Windows较早的开发喜欢使用int、java喜欢使用properties、通用的编程喜欢yamljson等格式,本文也不会对这些格式进行排名,而是简单介绍一下这些格式,用户可以根据自己的实际情况进行选择。

阅读全文

Mac OS X显示连接

Mac OSX中虽然带了 netstat工具,可是用起来不像Linux下那么爽, 一个是慢 (netstat -p tcp | grep $PORT),二是不能pid,所以stackoverflow上建议使用lsof工具。

所以你可以使用下面的命令:

1
2
3
lsof -n -i4TCP:$PORT | grep LISTEN # Verified on macOS Sierra
lsof -n -iTCP:$PORT | grep LISTEN
lsof -n -i:$PORT | grep LISTEN

为了不显示端口的俗称,你可以加P参数:

1
2
3
lsof -nP -i4TCP:$PORT | grep LISTEN # Verified on macOS Sierra
lsof -nP -iTCP:$PORT | grep LISTEN
lsof -nP -i:$PORT | grep LISTEN

如果不想grep Listen,可以加-sTCP:LISTEN

没有更多要说的了,谨记一下备用。

在Nginx内部自动处理3XX跳转

利用Nginx很容易的配置反向代理和负载均衡的服务, 比如下面的配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
upstream backends {
server 10.0.0.10:8080;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
}
server{
listen 8080;
location / {
proxy_pass http://backends;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

它将客户端的请求转发给后台的三个服务器。 负载均衡的算法又多种, 比如轮询、least_conn、ip_hash、weight等算法,本文重点不介绍这方面的内容,而是下面的需求。

后端服务器可能返回 3XX的redirect的response, Nginx会把这个请求直接返回给客户端。现在我们的需求是让Nginx自己处理这个跳转,而客户端无感知。

阅读全文

tc: 模拟网络异常的工具

Linux Traffic Control (tc)的扩展 Network Emulation (netem)可以很方便的模拟网络不好的情况,一般新的linux内核中(>= 2.6)已经内置了这个工具,可以方便的进行测试。

本文罗列了了 tc的常用的模拟命令, 以备将来使用的时候查询。

主要参考了Linux基金会的官方介绍: netem

阅读全文