Life is like hiking

Sublime Text 并没有自带插入日期时间的功能，但是可以通过插件的方式实现，这也是sublime可扩展性的强大体现。详细的步骤如下： 1. 菜单栏：Tools -> New Plugin... 2. 此时会打开一个插件模版文件，使用下面的内容覆盖 阅读全文…

联合作业执行引擎 Netflix Geniehttps://www.oschina.net/p/netflix-genieGenie 是 Netflix 联合作业执行引擎，提供 REST-ful APIs，运行各种类型的大数据作业，比如 Hadoop，Pig，Hive，Spark，Presto，Sqoop 等等。Genie 同时提供 APis 来管理在上面运行的大量的分布式进程集群配置，命令和应用。 基于 Java 的 Mesos 调度器 Fenzohttps://www.oschina.net/p/fenzoFenzo 是一个使用 Java 语言编写的 Apache Mesos 框架的可扩展调度器。Fenzo 负责管理 Netflix 内部所有服务的调度和资源分配。Fenzo 支持使用两种互补的策略集群自动缩放： ● 基于阈值 ● 基于资源短缺分析 阅读全文…

在工作环境中使用的是python 2.7.*，但是CentOS 6.4中默认使用的python版本是2.6.6，故需要升级版本。 阅读全文…

google论文系列Borg、Omega and Kubernetes谷歌十余年从三个容器管理系统中得到的经验教训Lessons learned from three container-management systems over a decade 英文版原文链接 中文翻译参考了韩佳瑶的翻译并做了修正 > 从2000年以来，谷歌基于容器研发三个容器管理系统，分别是Borg、Omega和Kubernetes。这篇论文由这三个容器集群管理系统长年开发维护的谷歌工程师Brendan Burns、Brian Grant、David Oppenheimer、Eric Brewer和John Wilkes于近日发表，阐述了谷歌从Borg到Kubernetes这个旅程中所获得知识和经验教训。 阅读全文…

[root@localhost ~]# pip listCython (0.24.1)funcsigs (1.0.2)mock (2.0.0)numpy (1.11.2)pandas (0.19.0)pbr (1.10.0)pip (8.1.2)protobuf (3.0.0)python-dateutil (2.5.3)pytz (2016.7)setuptools (28.4.0)six (1.10.0)tensorflow (0.11.0rc0)wheel (0.29.0)[root@localhost ~]# ls 阅读全文…

AKKA使用了SBT，相比gradle更简洁，maven就不用来比较了。 但是受网络的影响，从仓库下载akka和scale的库不是件容易的事情，前后折腾了几个小时 构建的时候遇到个文件，明明jar文件存在，但是编译报错 意识到jar文件可能没有下载完整 手工检查是不可能的 阅读全文…

这段时间整理分布式经典论文, 这个自己手工来下载是个很吃力的事情 如果还想要进行一些处理方便使用,比如按引用排序,按年代排序,按作者来分类,这时候写个几十行的小爬虫就很方便了. 一般下载资料,获取峰会材料等等的时候都会用爬虫来处理 过去都是用 python 爬虫, 主要使用 BeautifulSoup 来解析, 用 requests 来请求 现在想试试用 go 处理,今天刚好发挥了作用 因为golang.org被墙, 很多库是没有办法下载的例如 https://godoc.org/golang.org/x/net 没办法 go get golang.org/x/net 了。可以用 go get github.com/golang/net 替代 但是很多库,手工处理太坑了, 写了个小爬虫, 生成了个批处理文件 在 golang.org/x 目录里面执行就获得了素有的库. 批处理 阅读全文…

多年来一直在多个平台上用多种语言开发系统。从大型系统架构角度这是必然也是很好的选择，用擅长的语言做对应的事，人员的技能门槛也不会成为制约。 一直希望一个能够跨 unix/linux/windows 三个平台的开发工具，当然vim是可以的 阅读全文…

在过去的30年里，计算机的性能是在摩尔定律的推动下，从现在开始，这将由Amdahl’s Law决定。编写代码，有效地利用多个处理器可以是非常具有挑战性的。” -Doron Rajwan　　 Amdahl’s Law：每个程序都分为串行与并行部分，降低串行的比重，可提高程序的效率。 现在系统面临下面的挑战： 单节点上如何充分的利用多核 云化或分布式网络化环境下越来越复杂的编程问题 负责的部署和一致性检测难度 阅读全文…

Hugo是由Go语言实现的静态网站生成器。简单、易用、高效、易扩展、快速部署。快速开始安装Hugo1. 二进制安装（推荐：简单、快速）到 Hugo Releases 下载对应的操作系统版本的Hugo二进制文件（hugo或者hugo.exe） 阅读全文…