使用Linux 30年了,我都不知道 ping 8.8 还能这么用?

今天看到 @sysxplore 介绍的一个技巧,类似IPv6的0简写的方法,这是我第一次知道ipv4的地址还能这么直接写:
![](/127.1/admin # 可能绕过 "127.0.0.1" 的黑名单
http://2130706433/ # 十进制形式的 127.0.0.1


### 2. 日志分析困难

不同格式的相同IP可能导致日志分析和安全审计的复杂化。

### 3. 防火墙规则绕过

某些防火墙规则可能无法识别非标准格式的IP地址。

## 兼容性说明

这个特性的支持情况因系统和应用而异:

- ✅ **完全支持:** Linux、macOS、BSD系统的网络工具
- ⚠️ **部分支持:** Windows系统(某些版本的 `ping` 支持,但浏览器通常不支持)

<!--more-->

- ❌ **不支持:** 大多数现代Web浏览器(出于安全考虑)、某些编程语言的标准库

## 建议

知道就好,就像知道回字有几种写法,现在几乎不会这么使用。


**参考资料:**

- BSD Socket API Documentation
- inet_aton() Manual Pages
- IETF RFC 3986 (URI Generic Syntax)

从 AI 哪里挣钱?

来自投资人 @JTLonsdale 的见解。


根据国际能源署,数据中心电力消耗预计到 2030 年将增加一倍以上,达到约 945 太瓦时。 以这个数据为背景,这超过了大多数国家。 例如,德国在 2024 年大约产生了 431.7 太瓦时的电力。

Tier 1 一级芯片层。

由于通用 CPU 无法处理 AI 的需求,您需要为所有这些并行处理提供完全不同的硅架构。 随着 AI 模型复杂性的增加,为其提供动力的芯片也必须保持同步。

一些关键的近期芯片“军备竞赛”统计数据: - Groq 在 69 亿美元估值下融资 7.5 亿美元,以挑战 NVIDIA。 - 台积电将其美国投资扩大至 1650 亿美元。 2024 年,整个 AI 芯片市场达到 1230 亿美元,预计到 2030 年将以 33% 的年增长率增长。

Tier 3 覆盖基础模型公司

这些公司需要大量的前期资本进行训练,但它们创造了推动堆栈中所有上层功能的能力。 例如 OpenAI、Anthropic 和谷歌的 Gemini。

这些公司层次似乎是一个明显的投资选择,因为它们总是成为头条新闻。 OpenAI 的估值达到了 3000 亿美元,收入从 37 亿美元增长到 127 亿美元,年化增长仅几个月。Anthropic 的最新估值也增长了 3 倍,达到 1830 亿美元。 这里的限制是,这些公司的训练成本呈指数级增长。GPT-4 的训练成本为 1 亿美元,未来的模型将超过 10 亿美元。

Tier 4 软件基础设施

把这想成是 AI 的镐子和铲子。 没有部署平台、检索向量数据库和用于管理整个流程的 MLOps 工具,模型将无法存在。

Databricks 的估值达到 1000 多亿美元,推动企业 AI 工作流程。 就在去年,矢量数据库初创公司筹集了 2 亿美元(Vespa、Weaviate、Pinecone 和 Chroma)以支持 LLM 基础设施。langchain完成了1.25亿美元的融资,估值已经达到了12.5亿美元。

阅读全文

深入了解 Go 1.25 的新特性:Trace Flight Recorder

Go 1.25 引入了一个令人兴奋的新特性:Trace Flight Recorder (飞行记录)。这个工具为 Go 开发者提供了一种更高效、更轻量级的生产环境调试和性能分析方法。本文将深入探讨 Trace Flight Recorder 的工作原理、配置方式、使用示例以及它在实际应用中的价值。

参考这张flightrecorder的图片,生成一个更加现代、彩色、有趣的图片

什么是 Tracing 和 Flight Recording?

在深入了解 Trace Flight Recorder 之前,我们首先需要理解两个核心概念:

  • Tracing (跟踪): Tracing 是一种监控和调试技术,通过收集程序执行的详细信息,例如函数调用、goroutine 活动、内存分配等,来帮助开发者识别性能瓶颈和调试复杂问题。传统的 tracing 方式通常会记录程序的整个生命周期,这可能会导致生成巨大的跟踪文件,带来较高的开销。

阅读全文

Go 语言全新实验性 JSON API

前言

JavaScript 对象表示法(JSON) 是一种简洁的数据交换格式。大约 15 年前,我们曾经介绍过 Go 语言对 JSON 的支持,当时引入了将 Go 类型序列化为 JSON 数据以及从 JSON 数据反序列化的功能。从那时起,JSON 已经成为互联网上最受欢迎的数据格式。Go 程序广泛地读写 JSON 数据,encoding/json 现在是 Go 语言第 5 大最常用的导入包。

随着时间推移,软件包会根据用户需求不断演进,encoding/json 也不例外。本文将介绍 Go 1.25 中全新的实验性包 encoding/json/v2 和 encoding/json/jsontext,它们带来了期待已久的改进和修复。

本文将论证为什么需要一个全新的主要 API 版本,并概述这些新包的特性,解释如何使用它们。这些实验性包默认情况下不可见,未来的 API 可能会发生变化。

encoding/json 存在的问题

总体而言,encoding/json 运行良好。将任意 Go 类型编组(marshaling)和解组(unmarshaling)为 JSON 的默认表示方式,结合自定义表示的能力,已经证明了其高度的灵活性。然而,自推出以来的这些年里,各种用户发现了许多不足之处。

阅读全文

Go 语言的内存分配机制

Go 语言的内存分配机制

目录

免责声明

这篇博文主要关注在 ARM 架构 Linux 系统上运行的 Go 1.24 编程语言。内容可能不涵盖其他操作系统或硬件架构的平台特定细节。

本文基于其他资料和我对 Go 的理解,可能并非完全准确。如有错误或建议,欢迎在最底部的评论区指正 😄。

引言

内存分配是每个编程语言运行时的核心,Go 也不例外。内存的高效分配和管理直接影响 Go 应用程序的性能、可扩展性和响应能力。

虽然 Go 通过简单的 API(new(T)、&T{} 和 make)抽象了大部分复杂性,但理解底层原理能让我们深入了解运行时如何实现高效性,以及潜在的性能瓶颈可能出现在哪里。

阅读全文

老师,谢谢您

我的家乡是鲁西南的一个小县城下面的一个小村子,人口也就几百人,几乎都是一个姓氏。村子不大,但是向来崇文,因为我高祖父兄弟二人同中秀才,在附近县城小有名气,村子也被成为秀才村。从小长辈们常常说起他们的事情,引以为傲。村子虽不大,却有一个小学,只教一到三年级,整个学校也就两三个教师,教室是土房子,搭着木板当课桌,这是八十年代初,虽然条件简陋,但是当时的老师兼校长还是引入了很多现在看起来很先进的教学理念,有音乐课,教我们唱歌;有体育课,教我们打球;鼓励式教学,老师叫晁代芬,也是本村的知识分子。四年级我们就得到邻村的一个大一点的学校去上学了。再后来村里新建了红瓦房,房屋条件是村里最好的了。再后来农村撤校,学校就停办了。

初中在邻村上的,也是80年代农村常见的红瓦平方,有几排。初三的时候有个乡里的老师调来当校长,很有能力,对老师和学生管的非常严厉。当时的班主任兼数学老师是一位年纪很大的老师了,但是教学也是很厉害的,他教过我的父亲,我的姐姐和我。别的同学都说他很严厉,但是我没觉得,反而觉得他很好。哪一年难得这个农村中学有三个考上了县上最好的中学,包括我姐姐、我和另外一个同学。

高中是县里的一中,也是县里最好的中学了。那是那几年高考成绩一般,能有考上山东大学的就不错了。我入学那年,年级主任是乔老师,据说是从二中调过来的,后来我毕业后升为了校长。他是一个实干派,想做出成绩出来,对老师抓的特别近。记得初二的时候让学生给老师写评价,有几个老师的评价比较低,乔校长应该狠狠批了一通,有的老师在课堂上哭了,说你们这群白眼狼。还有那个时候管后勤的不知道抽什么疯,傍晚下课后就把教室的电断掉,省钱,气的乔校长就和管后勤的老师吵起来,让恢复供电,让喜欢学习的学生可以在教室了写作业。班主任孟老师也非常好,对大家的学习也盯得紧。那一年高考有四个同学考上了北大、三个中科大、还有西安交大、哈工大等,那是那几年最辉煌的一届了。

阅读全文

容器感知 GOMAXPROCS

Go 1.25 带来了全新的容器感知 GOMAXPROCS 默认设置。这个改进让容器工作负载的默认行为变得更加合理,避免了影响尾延迟的限流问题,并提升了 Go 的开箱即用生产就绪性。

在这篇文章中,我们将深入探讨 Go 如何调度 goroutine,这种调度如何与容器级别的 CPU 控制交互,以及 Go 如何通过感知容器 CPU 控制来获得更好的性能。

GOMAXPROCS

Go 的一大优势是通过 goroutine 提供了内置且易用的并发能力。从语义角度来看,goroutine 与操作系统线程非常相似,让我们能够编写简单的阻塞代码。另一方面,goroutine 比操作系统线程更轻量,创建和销毁的成本要低得多。

阅读全文

我苦学得来的 20 个 Go 性能技巧

作为一名多年使用 Go 语言构建后端服务的工程师,我深刻意识到该语言的巨大性能潜力。但这种潜力需要被正确地解锁。在高并发环境下,仅仅实现一个功能和构建一个稳定高效运行的系统之间存在着巨大的差异。不良的编码习惯和忽视底层机制很容易抵消 Go 语言本身提供的性能优势。

这篇文章不是一堆抽象的理论。我将分享 20 条在生产环境中反复验证过的性能优化技巧。这些技巧是多年开发、调优和犯错后总结出的有效实践。我将深入探讨每条建议背后的“为什么”,并提供实用的代码示例,旨在构建一个清晰、可操作的 Go 性能优化框架。

优化的哲学:先原则后实践

在修改一行代码之前,你必须确立正确的优化方法。否则,你所有的努力都可能是徒劳的。

1. 优化的第一条规则:测量,不要猜测

为什么:任何没有数据支持的优化都是工程上的大忌——这就像在黑暗中摸索。工程师对瓶颈的直觉往往是不可靠的。“错误方向”的优化不仅浪费时间,还会引入不必要的复杂性,甚至可能引入新的错误。Go 内置的 pprof 工具集是我们最强大的武器,也是性能分析的唯一可靠起点。

  如何操作:

使用 net/http/pprof 包,您可以在 HTTP 服务中以最小的努力暴露一个 pprof 端点,实时分析其运行时状态。

  • CPU 剖析:定位消耗最多 CPU 时间的代码路径(热点)。
  • 内存剖析:分析程序的内存分配和保留情况,帮助查找不合理的内存使用。
  • 阻塞剖析:追踪导致 goroutine 阻塞的同步原语(锁、通道等待)。

阅读全文

Go 1.25 概览

Go 1.25 概览

Go 1.25标志着 Go 语言向前迈出了重要一步,其核心在于提升性能、优化开发者体验以及增强云原生就绪能力。此次发布在工具链、运行时、编译器和标准库等多个方面引入了一系列增强功能,旨在使 Go 应用程序更快、更高效,并更易于开发和部署,尤其是在容器化环境中。它还凸显了对安全性的承诺以及语言规范的持续完善。

本次发布围绕以下关键主题展开:性能优化、增强型开发者工具、云原生就绪、安全强化以及语言成熟度。以下表格概述了 Go 1.25的主要亮点,为繁忙的专业人士提供了快速参考,以便立即了解最关键的变更。

类别 特性/变更 简要描述 影响/益处
性能优化 实验性垃圾回收器 (greenteagc) 标记和扫描小对象性能提升,预计减少0-40% GC 开销 降低运营成本,提升应用吞吐量和降低延迟

阅读全文

Go synctest:解决不稳定测试的利器

英文来源: Go synctest: Solving Flaky Tests

要理解 synctest 解决的问题,我们首先必须认识核心问题:并发测试中的非确定性。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
func TestSharedValue(t *testing.T) {
var shared atomic.Int64
go func() {
shared.Store(1)

<!--more-->

time.Sleep(1 * time.Microsecond)
shared.Store(2)
}()

// 5微秒后检查共享值
time.Sleep(5 * time.Microsecond)
if shared.Load() != 2 {
t.Errorf("shared = %d, want 2", shared.Load())
}
}

这个测试启动一个goroutine来修改共享变量。它将 shared 设为1,休眠1微秒,然后设为2。

与此同时,主测试函数等待5微秒后检查 shared 是否达到2。乍一看,这个测试似乎应该总是通过。毕竟,5微秒应该足够goroutine完成执行。

然而,重复运行测试:

1
go test -run TestSharedValue -count=1000

会显示测试有时会失败。你可能会看到如下输出:

1
shared = 0, want 2

或者

1
shared = 1, want 2

这是因为测试是不稳定的。有时goroutine在检查运行时还没有完成,甚至还没有开始。结果取决于系统调度器以及运行时选择goroutine的速度。

time.Sleep 的准确性和调度器的行为可能存在很大差异。操作系统差异和系统负载等因素都会影响时序。这使得任何仅基于休眠的同步策略都不可靠。

虽然这个例子使用微秒级延迟进行演示,但现实世界的问题往往涉及毫秒或秒级的延迟,特别是在高负载下。

受这种不稳定性影响的真实系统包括后台清理、重试逻辑、基于时间的缓存驱逐、心跳监控、分布式环境中的领导者选举等。

像这样依赖时序的测试也可能很耗时。想象一下,如果它必须等待5秒而不是仅仅5微秒。

什么是 synctest?

synctest 是Go 1.24引入的新特性。它通过在受控的隔离环境中运行goroutine,实现了并发代码的确定性测试。

考虑这个不使用 synctest 的例子:

1
2
3
4
5
func TestTimingWithoutSynctest(t *testing.T) {
start := time.Now().UTC()
time.Sleep(5 * time.Second)
t.Log(time.Since(start))
}

当你运行这个测试:

1
go test . -v

你会发现输出永远不会恰好是 5s。相反,它可能看起来像 5.329s、5.394s 或 5.456s。这些变化来自系统调度和时序分辨率的延迟。

使用 synctest,时间完全受控。持续时间变得一致,输出将始终显示 5s。

要使用 synctest,将你的测试逻辑包装在一个函数中,并将其传递给 synctest.Run():

1
2
3
4
5
6
7
8
9
import "testing/synctest"

func TestTimingWithSynctest(t *testing.T) {
synctest.Run(func() {
start := time.Now().UTC()
time.Sleep(5 * time.Second)
t.Log(time.Since(start))
})
}

然后使用 GOEXPERIMENT=synctest 标志运行测试:

1
GOEXPERIMENT=synctest go test -run TestTimingWithSynctest -v

示例输出:

1
2
3
4
=== RUN   TestTimingWithSynctest
main_test.go:8: 5s
--- PASS: TestTimingWithSynctest (0.00s)
PASS

注意 synctest 内部的 time.Sleep 立即返回。测试实际上不会等待5秒。这使得测试运行得更快,同时仍然保持准确性。

现在我们知道 synctest 操纵时间来产生确定性行为,我们可以用它来修复之前的不稳定测试。只需用 synctest.Run 包装测试主体:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
func TestSharedValue(t *testing.T) {
synctest.Run(func() {
var shared atomic.Int64
go func() {
shared.Store(1)
time.Sleep(1 * time.Microsecond)
shared.Store(2)
}()

// 5微秒后检查共享值
time.Sleep(5 * time.Microsecond)
if shared.Load() != 2 {
t.Errorf("shared = %d, want 2", shared.Load())
}
})
}

通过这个改变,测试将每次都通过。但它是如何解决Go运行时调度器没有选择goroutine运行的问题的呢?

原因是时间是受控的。5微秒是模拟的而不是真实的。当代码运行时,时间实际上是冻结的,synctest 管理其进展。换句话说,逻辑不依赖于真实时间,而是依赖于确定性的执行顺序。

等待机制

除了合成时间外,synctest 还提供了一个强大的同步原语:synctest.Wait 函数。

当你调用 synctest.Wait() 时,它会阻塞直到所有其他goroutine(在同一 synctest 组中)要么完成,要么持久阻塞。Wait() 最常见的用法是启动后台goroutine,然后暂停直到它们达到稳定点,再进行断言。

这里是一个例子,其中 Wait() 确保 afterFunc 回调已被调用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
synctest.Run(func() {
ctx, cancel := context.WithCancel(context.Background())

afterFuncCalled := false
context.AfterFunc(ctx, func() {
afterFuncCalled = true
})

// 取消上下文并等待AfterFunc完成
cancel()
synctest.Wait()

// 现在我们可以安全地检查回调是否已被调用
fmt.Printf("after context is canceled: afterFuncCalled=%v\n", afterFuncCalled)
})

当我们调用 cancel() 时,传递给 context.AfterFunc 的函数在单独的goroutine中运行。没有协调,我们无法确定该goroutine何时被调度或何时完成。

因为 synctest 跟踪测试气泡中的所有goroutine,它知道它们的确切状态。当 Wait() 返回时,它保证所有其他goroutine要么完成,要么阻塞。这使你能够对程序状态进行可靠和确定性的断言。

synctest 如何工作

synctest 通过创建称为"气泡"的隔离环境来工作。气泡是一组在受控和独立环境中运行的goroutine,与程序的正常执行分离。

当你调用 synctest.Run(f) 时,Go运行时创建一个新的执行气泡。这个气泡有几个独特的特征,使其与常规Go行为不同:

1. 合成时间

每个气泡都有自己的合成时钟。这个合成时间从2000年1月1日UTC午夜开始(纪元946684800000000000):

1
2
3
4
5
6
7
8
func TestTimingWithSynctest(t *testing.T) {
synctest.Run(func() {
t.Log(time.Now().UTC())
})
}

// 输出:
// 2000-01-01 00:00:00 +0000 UTC

在气泡内部,时间不会实时向前移动。相反,Go暂停时间并观察goroutine在做什么。如果任何goroutine仍然活跃(未阻塞),合成时间保持冻结:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
func TestTimingWithSynctest(t *testing.T) {
synctest.Run(func() {
t.Log(time.Now().UnixNano())

var now int64
for range 10000000 {
now = time.Now().UnixNano()
}

t.Log(now)
})
}

// 输出:
// 946684800000000000
// 946684800000000000

时间只有在气泡中的所有goroutine都被阻塞时才会前进。这意味着它们正在等待操作,如 time.Sleep、通道接收、互斥锁或其他阻塞调用。

在 synctest 气泡中,时间只为触发预定事件而前进。这使测试完全控制执行时序和顺序。

例如,如果一个goroutine休眠5秒,而所有其他goroutine也被阻塞,Go将立即将合成时间向前移动5秒。这允许goroutine立即恢复,无需等待真实时间过去。

2. Goroutine协调

当调用 synctest.Run(f) 时,当前goroutine成为气泡的根。这个根goroutine管理合成时间并协调气泡内所有其他goroutine的执行。

传递给 synctest.Run 的函数 f 在新goroutine中启动并成为气泡的一部分。然后根goroutine进入循环来管理时间并控制其他气泡goroutine的调度。

被阻塞的goroutine有两类:外部阻塞和持久阻塞。

持久阻塞意味着goroutine无法继续,直到其他东西触发解除阻塞,而那个"其他东西"在测试环境内受控。例子包括:

  • time.Sleep()
  • sync.Cond.Wait()
  • sync.WaitGroup.Wait()
  • 对 nil 通道的操作
  • 所有case都涉及气泡内通道的 select 语句
  • 在气泡内创建的通道上的发送和接收

如果goroutine等待气泡外的事件,则它们不是持久阻塞。这些包括:

  • 文件或网络I/O等系统调用
  • 外部事件处理(如从套接字读取)
  • 在气泡外创建的通道上的通道操作

从 synctest 的角度来看,在外部事件上阻塞的goroutine被认为是运行的,因为它们的进展取决于现实世界的状态。

所以如果你有一个永远外部阻塞的goroutine,以及另一个在像 time.Sleep(5 * time.Microsecond) 这样的东西上持久阻塞的goroutine,休眠将永远不会完成。由于外部阻塞阻止系统达到完全阻塞状态,合成时间不会前进,持久阻塞的goroutine将保持暂停。

当没有运行的goroutine且所有活跃的goroutine都持久阻塞时,synctest 继续要么唤醒等待 synctest.Wait() 的goroutine,要么继续执行根goroutine。决策逻辑如下:

1
2
3
4
5
6
7
8
9
10
11
12
func (sg *synctestGroup) maybeWakeLocked() *g {
if sg.running > 0 || sg.active > 0 {
return nil
}

sg.active++
if gp := sg.waiter; gp != nil {
return gp
}

return sg.root
}

此时根goroutine的作用是找到下一个预定的计时器事件。这可能由 time.Sleep、time.Timer、time.Ticker 或 time.AfterFunc 等函数触发。所有这些都在内部创建计时器。

一旦根找到下一个事件,它将合成时间设置到那个时刻(sg.now = next),然后停驻自己并等待测试调度器恢复现在应该运行的goroutine。

请记住,synctest 主要设计用于测试同步逻辑的时序和正确性,而不是完全模拟现实世界的时序行为。如果使用不当,它可能隐藏在现实条件下会出现的错误。

最后注意,本文是在 synctest 仍处于实验阶段时编写的。一些细节可能随时间而改变,但核心概念预期保持不变。