ElasticSearch安装

  • Posted on: 17 July 2015
  • By: 似曾相识

Elastic Search 是一个基于Lucene构建的开源,分布式搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。支持通过HTTP使用JSON进行数据索引,它能够快速搜索数十亿的文件以及PB级别的数据,包括结构化和非结构化的数据。

OpenTSDB基础安装部署

  • Posted on: 5 June 2015
  • By: 似曾相识

OpenTSDB由时间序列守护进程(TSD)以及命令行实用工具。与OpenTSDB交互主要是通过运行一个或多个tsd中。每个TSD中都是独立的。没有主从,没有共享状态,这样你就可以根据需求运行多个tsd处理负载。每个TSD中使用开源数据库HBase存储和检索时间序列数据。HBase模式是相同时间序列高度优化快速聚合来减少存储空间。在TSD中用户不需要直接访问HBase。可以通过一个简单的telnet-style与TSD中通信协议,内置HTTP API或一个简单的GUI。所有通信在同一端口(TSD中数据的协议客户端通过查看前几个字节接收)。

Heka Redis插件编译

  • Posted on: 2 June 2015
  • By: 似曾相识

最近项目中需要用Heka处理Redis数据,那么问题就来了,如何才能实现呢?需要在Heka上安装redis插件。

1.开始把heka-redis插件添加在编译插件加载项里。

cd /usr/local/heka/
vim cmake/plugin_loader.cmake

add_external_plugin(git https://github.com/victorcoder/heka-redis master)

2.运行脚本编译。

sh build.sh

3.结果出现错误,提示没有redis包。

Centos7下如何安装nginx,mysql,php环境

  • Posted on: 1 June 2015
  • By: 似曾相识

一、概述

项目的需要,今天在虚拟机上基于Centos安装配置了服务器运行环境,web服务用 nginx,数据库存储在mysql(使用MariaDB),动态脚本语言是php。

二、步骤

首页保证Centos7已经安装完毕,正常运行。如果没有安装,请到官网下载(http://www.centos.org/download/ )。如何安装就不在这里赘述了。接下来分5步介绍nginx,mysql,php的安装和配置。

Heka日志数据挖掘之Heka安装

  • Posted on: 17 May 2015
  • By: 似曾相识

Heka是Mozilla发布的一款开源的流处理软件系统,是大数据处理中“瑞士军刀”。在我的项目中主要应用其三点:

  • 实时性。对于业务中的曝光日志数据实时增量处理
  • 扩展性。可以用go或lua编写插件,go插件修改完修改再次编译,lua插件可以直接运行。
  • 高性能。使用Go语言编写,适合构建数据管道,并让数据管道同时占有快速和灵活两方面的优势。一个单hekad实例可以支撑(接收和路由)起每秒10GB的日志数据。

具体Heka安装如下:

页面