ITeye博客

微尘的世界

fireinwind · 共 453 篇文章

Java程序中不通过hadoop jar的方式访问hdfs

转自http://brandnewuser.iteye.com/blog/2208709 Java程序中不通过hadoop jar的方式访问hdfs 博客分类: 系统使用 hadoop&&storm 开源分析 hadoop hdfs hadoop jar 一般情况下,我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api,添加以下的pom.xml依赖(这里以hadoop2.2.0版本为例): Xml代码 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>…

2018-06-26 18:28 · Hadoop · 评论(0)

Hadoop双namenode配置搭建(HA)

转自:http://blog.csdn.net/trigl/article/details/55101826 配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。 配置Hadoop文件 需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下: core…

2018-01-02 11:21 · 评论(0)

error: command 'gcc' failed with exit status 1

dfdf 用安装python模块出现error: command 'gcc' failed with exit status 1 ,明明装了gcc的,怎么会不行呢,然后发觉是failed不是not found,这说明这个错误个gcc没多大关系,应该是缺少某些功能模块,然后谷歌了一下,先后安装了python-devel,libffi-devel后还是不行,最后发觉要安装openssl-devel才行 可如下命令行安装: yum install gcc libffi-devel python-devel openssl-devel

2017-12-30 15:43 · fddd · 评论(0)

elasticsearch2.3.3以及其插件离线安装

若服务器无法访问外网,可参考以下的安装步骤。否则跳转到《 elasticsearch以及其常用插件安装 》。 1. 安装elasticsearch 下载 elasticsearch2.3.3 安装包。下载地址: elasticsearch-2.3.3.tar.gz 在安装目录解压即可。 2. 安装kibana插件 下载 kibana4.5.1 安装包(有linux和windows版本之分)。下载地址: kibana-4.5.1-linux-x64.tar.gz 在安装目录解压即可。 3. 安装elasticsearch-head插件 下载 elasticsearch-head 安装包。下载地…

2017-12-16 20:18 · Elasticsearch · 评论(0)

Error message looks like this: Couldnot load history file hdfs://namenodeha:802

Error message looks like this: Couldnot load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist Actually, I know the answer to the problem. The defaul settings of /mr-history files is: hadoop fs -cho…

2017-12-14 23:58 · Hadoop · 评论(0)

ES 空间占用

http://blog.csdn.net/yangwenbo214/article/details/54376885 http://kfcman.iteye.com/blog/2258653 https://segmentfault.com/a/1190000002690548

2017-09-29 22:42 · Elasticsearch · 评论(0)

访问https

package cn.com.admaster.migsender.utils; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; import javax.net.ssl.HostnameVerifier; import javax.net.ssl.HttpsURLConnection; import javax.net.ssl.SSLSession; /** * Created by qeekey on 17/7/3. */ public class Test { publ…

2017-07-04 10:42 · 评论(0)

Spark开发环境搭建

http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=8&fps=1

2017-05-04 21:41 · Hadoop · 评论(0)

es一致性问题

https://segmentfault.com/a/1190000005844120 概述 内部因素 es的一致性主要有两个方面: 使用lucene索引机制带来的refresh问题 使用分片和复制带来的副本一致性问题( consistency:one、all、quorum ) 外部因素 外部因素的话,就是如果使用db跟es的同步机制的话,那么这里的同步有一定的延时,另外也有可能因为异常情况发生不一致的情况,比如事务回滚之类的。 更新操作之后refresh org.springframework.data.elasticsearch.repository.support.AbstractEl…

2016-08-17 20:07 · Elasticsearch · 评论(0)

如何防止ElasticSearch集群出现脑裂现象

如何防止ElasticSearch集群出现脑裂现象 什么是“脑裂”现象? 由于某些节点的失效,部分节点的网络连接会断开,并形成一个与原集群一样名字的集群,这种情况称为集群脑裂(split-brain)现象。这个问题非常危险,因为两个新形成的集群会同时索引和修改集群的数据。 如何避免脑裂问题? 避免脑裂现象,用到的一个参数是:discovery.zen.minimum_master_nodes。这个参数决定了要选举一个Master需要多少个节点(最少候选节点数)。默认值是1。根据一般经验这个一般设置成 N/2 + 1,N是集群中节点的数量,例如一个有3个节点的集群,minimum_master…

2016-05-24 15:04 · Elasticsearch · 评论(0)

linux vim 替换指定字符为回车

linux vim 替换指定字符为回车 1 将 aaa,bbb,ccc 替换成 aaa bbb ccc 方法: :%s/,/^M/g ^M是用ctrl-v然后ctrl-m敲出来的 2 将 aaa bbb ccc 替换成 aaa,bbb,ccc 方法: :%s/\n/,/ 具体可参阅下述文件 /usr/share/vim/vim63/doc/change.txt

2016-05-17 20:31 · Linux · 评论(0)

elasticsearch如何安全重启节点

elasticsearch如何安全重启节点 大岩不灿 发表于 2014年10月14日 浏览 6,568 次 elasticsearch集群,有时候可能需要修改配置,增加硬盘,扩展内存等操作,需要对节点进行维护升级。但是业务不能停,如果直接kill掉节点,可能导致数据丢失。而且集群会认为该节点挂掉了,就开始转移数据,当重启之后,它又会恢复数据,如果你当前的数据量已经很大了,这是很耗费机器和网络资源的。 本文转载官方提供的安全重启集群节点的方法: 第一步:先暂停集群的shard自动均衡。 1 2 3 4 5 6 curl -XPUT http://192.168.1.2:9200/_cluste…

2016-05-11 14:08 · Elasticsearch · 评论(0)

elasticsearch-sql 安装

https://github.com/NLPchina/elasticsearch-sql/blob/elastic2.3.2/README.md

2016-05-11 14:07 · Elasticsearch · 评论(0)

elasticsearch如何安全重启节点(续)

elasticsearch如何安全重启节点(续) 大岩不灿 发表于 2015年9月21日 浏览 1,086 次 之前分享的一篇文章介绍了如何滚动rolling重启elasticsearch集群。但是当数据量很大的时候,可能那种方式并不适合修改整个集群的配置。 如果你无法通过api更改集群属性,还是建议你把整个集群关闭,重启整个集群。 重启步骤如下: 1、关闭整个集群 curl -XPOST ‘http://IP:9200/_cluster/nodes/_shutdown’ 2、修改你要修改的配置项,或者是升级elasticsearch版本。 3、修改每个节点配置文件: 配置: gateway…

2016-05-11 14:07 · Elasticsearch · 评论(0)

MySQL主从复制延迟的监测及缓解

MySQL 的主从复制有多种原因可以导致延迟,这个是公认的了,下面我们谈谈怎样监测复制的延迟,以及怎样尽量的解决延迟的问题。 延迟的监测 Seconds_behind_master 在SLAVE上执行SHOW SLAVE STATUS,监控Seconds_behind_master列值,备库Seconds_Behind_Master值是通过将服务器当前的时间戳(这里其实有个主从服务器时间差的问题,但是实际上主从在连接上后会做一次主从时间差的对比并记录该偏移量)与二进制日志中的事件时间戳相对比得到的,如果在I/O线程没有延时的情况下,这个还是准的。 Master_Log_Pos 如果I/O有延…

2016-05-07 12:12 · 数据库 · 评论(0)