fireinwind
- 浏览: 1071591 次
- 性别:
- 来自: 北京
-
最新评论
-
kafodaote：
Kafka分布式消息系统实战（与JavaScalaHadoop ...
分布式消息系统Kafka初步 -
小灯笼：
LoadRunner性能测试实战课程网盘地址：http://p ...
LoadRunner性能测试应用（八） -
成大大的：
Kafka分布式消息系统实 ...
分布式消息系统Kafka初步 -
hulalayaha2：
Loadrunner性能测试视频教程下载学习：http://p ...
LoadRunner性能测试应用（八） -
993042835：
搞好 谢谢
org.hibernate.exception.ConstraintViolationException: could not delete:
文章列表
转自http://brandnewuser.iteye.com/blog/2208709
Java程序中不通过hadoop jar的方式访问hdfs
博客分类：
系统使用
hadoop&&storm
开源分析
hadoophdfshadoop jar
一般情况下，我们使用Java访问hadoop distributed file system(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：
Xml代码
转自：http://blog.csdn.net/trigl/article/details/55101826
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。
Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。
配置Hadoop文件
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面，具体修改内容 ...
dfdf
用安装python模块出现error: command 'gcc' failed with exit status 1 ，明明装了gcc的，怎么会不行呢，然后发觉是failed不是not found，这说明这个错误个gcc没多大关系，应该是缺少某些功能模块，然后谷歌了一下，先后安装了python-devel,libffi-devel后还是不行，最后发觉要安装openssl-devel才行
可如下命令行安装：
yum install gcc libffi-devel python-devel openssl-devel
若服务器无法访问外网，可参考以下的安装步骤。否则跳转到《elasticsearch以及其常用插件安装》。
1. 安装elasticsearch
下载elasticsearch2.3.3安装包。下载地址：elasticsearch-2.3.3.tar.gz
在安装目录解压即可。
2. 安装kibana插件
下载kibana4.5.1安装包（有linux和windows版本之分）。下载地址：kibana-4.5.1-linux-x64.tar.gz
在安装目录解压即可。
3. 安装elasticsearch-head插件
下载elasti ...
Error message looks like this:Couldnot load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhistActually, I know the answer to the problem. The defaul settings of /mr-history files is:hadoop fs -chown - ...
ES 空间占用
- 博客分类：
- Elasticsearch
http://blog.csdn.net/yangwenbo214/article/details/54376885
http://kfcman.iteye.com/blog/2258653
https://segmentfault.com/a/1190000002690548
package cn.com.admaster.migsender.utils;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import javax.net.ssl.HostnameVerifier;
import javax.net.ssl.HttpsURLConnection;
import javax.net.ssl.SSLSession;
/**
* Created by qeekey on 17/7/3.
*/
public c ...
Spark开发环境搭建
- 博客分类：
- Hadoop
http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=8&fps=1
es一致性问题
- 博客分类：
- Elasticsearch
https://segmentfault.com/a/1190000005844120
概述
内部因素
es的一致性主要有两个方面：
使用lucene索引机制带来的refresh问题
使用分片和复制带来的副本一致性问题(consistency：one、all、quorum)
如何防止ElasticSearch集群出现脑裂现象
什么是“脑裂”现象？
由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况称为集群脑裂（split-brain）现象。这个问题非常危险，因为两个新形成的集群会同时索引和修改集群的数据。
linux vim 替换指定字符为回车
- 博客分类：
- Linux
linux vim 替换指定字符为回车
1 将 aaa,bbb,ccc 替换成
elasticsearch如何安全重启节点
大岩不灿 发表于 2014年10月14日 浏览 6,568 次
elasticsearch集群，
https://github.com/NLPchina/elasticsearch-sql/blob/elastic2.3.2/README.md
elasticsearch如何安全重启节点(续)
大岩不灿 发表于 2015年9月21日 浏览 1,086 次
之前分享的一篇文
MySQL主从复制延迟的监测及缓解
- 博客分类：
- 数据库
MySQL的主从复制有多种原因可以导致延迟，这个是公认的了，下面我们谈谈怎样监测复制的延迟，以及怎样尽量的解决延迟的问题。
延迟的监测
Seconds_behind_master
在SLAVE上执行SHOW SLAVE STATUS，监控Seconds_behind_master列值 ...