本教程快速介绍了Spark的使用。 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码)，然后演示如何使用Java, Scala或者Python编写独立程序。 你可以查看Spark编程指南了解完整的参考。

开始下面的快速入门之前，首先需要到Spark网站下载一份打包好的spark。 既然本教程中我们不使用HDFS,你可以随便下载一个适配任何Hadoop的版本的Spark。

本教程翻译时的Spark版本为1.1.1

阅读全文

在 Java7引入的诸多新特性中，Fork/Join 框架无疑是重要的一项。JSR 166旨在标准化一个简单可扩展的框架，将并行（parallel ）计算的通用工具类组织成一个类似java.util中Collection一样的包。其目标是使之对开 发人员易用且易维护，同时该框架也旨在为并行计算提供一个高质量实现。目前已经有多个新的类和接口被添加到该框架中了。

该新特性主要是解决Java社区中对于如synchronized，wait和notify等操作的需求。Fork/Join框架设计目标就是可以容易地将算法并行化、分治化。开发人员曾多次想用自己(在非底层实现)的并发机制实现这一目标，因此新框架的想法是提供标准化和效率最高的并发工具协助开发人员实现各种多线程应用。其所需的类和接口都位于java.util.concurrent包中。

本文将描述Fork/Join框架及其如何用于解决Java并行问题(这些问题可参考本专题的第一部分)。

阅读全文

本文将快速介绍Spring Data for Mongo的使用。
Spring Data for MongoDB是Spring Data的一个子模块。 目标是为MongoDB提供一个相近的一致的基于Spring的编程模型。
Spring Data for MongoDB核心功能是映射POJO到Mongo的DBCollection中的文档，并且提供Repository 风格数据访问层。

相似的ORM/持久化框架还有

• morphia: MongoDB官方支持的ORM框架,可以很好的和Spring, Guice等DI框架集成，使用起来很方便。
• Hibernate OGM: Hibernate提供了Hibernate风格的NoSql ORM框架。
• jongo: 提供Mongo shell一样灵活的查询，并且提供ORM by Jackson，和Mongo java driver一样快。

阅读全文

本文收集了应用MongoDB（以及Spring-data-mongo）的一些技巧，坑和诀窍。 排名不分先后，文末附有出处。

阅读全文

在上一篇文章Go socket编程实践: TCP服务器和客户端实现， 我们实现了一个ECHO服务器， 并且也实现了一个客户端来访问服务器。
这篇文章讲解如何实现一个UDP服务器和客户端。
这次我们使用的协议是 RFC 868，
此协议提供了一个独立于站点的，机器可读的日期和时间信息。时间服务返回的提供了一个32位的数字，是从1900年1月1日午夜到现在的秒数。
RFC 868定义时间协议使用端口37, TCP和UDP协议都可以。

另外还有两个关于时间/日期的RFC协议。
NTP (RFC 1305)是网络时间协议,提供了精确的时间同步。
daytime (RFC 867)在TCP端口13侦听，返回ACSII格式的日期和时间。

阅读全文

这篇文章主要使用Go语言实现一个简单的TCP服务器和客户端。
服务器和客户端之间的协议是 ECHO, 这个RFC 862定义的一个简单协议。
为什么说这个协议很简单呢， 这是因为服务器只需把收到的客户端的请求数据发给这个客户端即可，其它什么功能都不做。

首先声明， 我绝对是一个Golang的初学者，十四、五年的编程时间我主要使用Java来做开发，这篇文章主要记录我学习go网络编程的体验。如果你认为这篇文章有错误或者不好的写法，请在回复中添加你的意见。

阅读全文

这篇文章给出了所有标准的Java集合（Collection）的概要。根据它们不同的属性和使用场景进行了分类。还介绍了在不同的集合类型之间转换的方式。

阅读全文

薜定谔的朱朱总结的C# 6.0的新特性。
原文地址： C# 6.0那些事

阅读全文

本文以单机的环境演示如何将Kafka和Spring集成。
单机的环境最容易搭建， 并且只需在自己的PC上运行即可， 不需要很多的硬件环境，便于学习。 况且，本文的目的不是搭建ZooKeeper的集群环境， 而是重点介绍Kafka和Spring的应用。
具体的软件环境如下：

• OS: CentOS 6.4
• Zookepper： zookeeper-3.4.6
• Kafka： kafka_2.9.1-0.8.2-beta
• Java： JDK 1.7.0_45-b18
• Spring:4.0.6

本例子在我的这个环境中运行正常， 全部代码可以到 github 下载。

阅读全文

在现代的Java应用程序中很少不用到集合类和数组。 可以对集合进行增，删，改，插， 统计(聚合aggregate)。 这些操作的概念在SQL操作上也会用到。 但是对集合的操作却没有像SQL那样方便简捷。 为什么我们不能实现一种类似SQL语句一样方便的编程方式呢， 去取代一遍又一遍loop遍历的方式处理集合和数组中的数据？
另外，对于大数据量的集合， 能不能充分利用多核的优势， 并行的处理？
Stream是就是这种处理数据的风格， 一种流式风格。 这种风格在其它语言中也有实现， 比如Javascript (Node.js stream)。
这种风格将要处理的元素集合看作一种流， 流在管道中传输， 并且可以在管道的节点上进行处理， 比如筛选， 排序，聚合等。
元素流在管道中经过中间操作（intermediate operation）的处理，最后由最终操作(terminal operation)得到前面处理的结果。

1
2
3

+--------------------+       +------+   +------+   +---+   +-------+
| stream of elements +-----> |filter+-> |sorted+-> |map+-> |collect|
+--------------------+       +------+   +------+   +---+   +-------+

一个简单的例子：

1
2
3
4
5
6

List<Integer> transactionsIds = 
widgets.stream()
             .filter(b -> b.getColor() == RED)
             .sorted((x,y) -> x.getWeight() - y.getWeight())
             .mapToInt(Widget::getWeight)
             .sum();

阅读全文