Kafka默认的消息大小为1000012,参数的名称为message.max.bytes.

1
2
3

kafka.server.KafkaConfig:
val messageMaxBytes = props.getIntInRange("message.max.bytes", 1000000 + MessageSet.LogOverhead, (0, Int.MaxValue))

但是对于topic来说，这个参数的名称却叫max.message.bytes，和前面的参数的名称很容易弄混。 Kafka应该将这两个参数统一成一个。
因此，如果你想对Boker统一设置的话，你需要在server.properties中设置：

1

message.max.bytes=1000000

如果针对单个的topic设置，你需要:

1

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic ABC --config max.message.bytes=1000000

另外，你还需要为Consumer设置fetch.message.max.bytes，
为Boker设置replica.fetch.max.bytes (至少和message.max.bytes一样，最大Int.MaxValue)

stackoverflow针对这个问题有个问答：
需要针对Boker和Consumer同时配置：

• Boker
  1 replica.fetch.max.bytes
  2 message.max.bytes
• Consumer
  3 fetch.message.max.bytes
  需要重启服务器。
  尤其第二项，如果没有配置，你不会得到任何的异常信息或者警告，很难发现此类问题。
  值设的太大也不好，因为会占用太大的内存用于数据传输（消费或者复制）

来源于QCon某高可用架构群整理，整理 by 朱玉华。
背景：有某个朋友在朋友圈咨询微信红包的架构，于是乎有了下面的文字（有误请提出，谢谢）
概况：2014年微信红包使用数据库硬抗整个流量，2015年使用cache抗流量。

阅读全文

根据网上一些公开的资料和演讲，我收集了一些知名网站在大促的活动中的数据。
对于公司来讲，原则上这些数据应该都是保密的，所以以下数据不一定准确，仅供参考。

阅读全文

英文原文： Running Kafka At Scale by Todd Palino, Staff Engineer, Site Reliability.
中文翻译： LinkedIn —— Apache Kafka 的伸缩扩展能力 by 袁不语, 社会主义好, 无若, 开心613, fr000, Shawock.

我在转载时根据原文对译文有所改动。

如果数据是高科技的血脉的话，Apache Kafka 就是 LinkedIn 公司正在使用中的心脏系统。我们使用 Kafka 在多个系统之间传递各类数据，它几乎每一天都和各种服务器打交道。这个架构的复杂性，以及架构实践中采用的各种取舍，衍生出一种快速又可靠地传输的大块数据需求。

阅读全文

英文原文: Microservice Design Patterns
InfoQ的谢丽编译的： 微服务架构的设计模式

前不久，Java Code Geeks发表了一篇文章，分析单体应用与微服务的优缺点。近日，该网站又发表了一篇文章，提供了六种微服务架构的设计模式。

阅读全文

翻译自InfoQ的 Web Frameworks Benchmark 2015
2014年TechEmpower发布了各种web框架做的benchmark结果 (参看我上一篇文章),这些web框架既包括web平台，还包括微框架(micro-frameworks). 一年过去了，TechEmpower又发布了新的测试结果， 可以看到前十名的web框架的性能又有了重要的变化。为了挑战最快的web框架比赛， 133位贡献者为测试框架提交了2,835 git commits, 一些框架显著提升了他们的RPS(responses per second),而其它的框架也得到了相应的提升。

阅读全文

techempower网站已经做了9轮的常用web框架的测试，它提供了三种硬件环境，几种测试case，得出了一系列的web框架的性能基准。 对于架构师而言，这是一个很好的评估选择web框架的参考资料。
完整的测试套件可以在github上下载。

阅读全文

Michaël Figuière是DataStax的软件架构师，他从一些公开的资料分析了最新的Facebook的架构。
转载于quora上回答。

阅读全文

本文转载于网上的文章 《最全最强解析：支付宝系统架构内部剖析（架构图）》。 最早的出处没有找到，原文作者也未知。 如果你知道请告诉我。

阅读全文

xingoo总结的构建高扩展性网站的原则。

本篇通过阅读《高扩展性网站的50条原则》，总结出以下内容。
一方面博主没有实际的架构经验，另一方面知识面也不够宽阔，所以只能系统的总结书中的要点，并根据自己的理解做些归纳。

阅读全文