`

hadoop 定制类

 
阅读更多

 

Partitioner, SortComparator and GroupingComparator in Hadoop

http://roserouge.iteye.com/blog/746391

 

 

 

 

分享到:
评论

相关推荐

    Hadoop实战中文版

    3.1.2 编程读写HDFS 3.2 剖析MapReduce 程序 3.2.1 Hadoop数据类型 3.2.2 Mapper 3.2.3 Reducer 3.2.4 Partitioner:重定向Mapper输出 3.2.5 Combiner:本地reduce 3.2.6 预定义mapper和Reducer类的单词计数...

    Hadoop权威指南 第二版(中文版)

     实现定制的Writable类型  序列化框架  Avro  依据文件的数据结构  写入SequenceFile  MapFile 第5章 MapReduce应用开发  配置API  合并多个源文件  可变的扩展  配置开发环境  配置管理  辅助类...

    Hadoop权威指南(中文版)2015上传.rar

    实现定制的Writable类型 序列化框架 Avro 依据文件的数据结构 写入SequenceFile MapFile 第5章 MapReduce应用开发 配置API 合并多个源文件 可变的扩展 配置开发环境 配置管理 辅助类GenericOptionsParser,Tool和...

    Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理

    从源代码角度深入分析Common和HDFS的架构设计与实现原理,为Hadoop的优化、定制和扩展提供原理性指导。从源代码中参透分布式技术精髓与分布式系统设计的优秀思想和方法。 由于cdsn上传文件大小的限制,只好将文件...

    Hadoop实战中文版.PDF

    413.2.5 Combiner:本地reduce 433.2.6 预定义mapper和Reducer类的单词计数 433.3 读和写 433.3.1 InputFormat 443.3.2 OutputFormat 493.4 小结 50第二部分 实战第4章 编写MapReduce基础程序 524.1...

    Hadoop高级编程——构建与实现大数据解决方案

    《Hadoop高级编程——构建与实现大数据解决方案》本书关注用于构建先进的、基于Hadoop的企业级应用的架构和方案,并为实现现实的解决方案提供深入的、代码级的讲解。本书还会带你领略数据设计以及数据设计如何影响...

    Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理 扫描版 带简单书签

    《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。...

    mortar-recsys, 一种基于砂浆数据的Hadoop和 Pig 定制推荐.zip

    mortar-recsys, 一种基于砂浆数据的Hadoop和 Pig 定制推荐 Mortar推荐引擎一个定制推荐引擎的Hadoop和 Pig,通过迫击炮数据。入门/教程这个项目包含了几个完整的。可以运行的示例数据示例数据,以及一个模板项目。...

    Hadoop实战

    323.1.2 编程读写HDFS 353.2 剖析MapReduce程序 373.2.1 Hadoop数据类型 393.2.2 Mapper 403.2.3 Reducer 413.2.4 Partitioner:重定向Mapper输出 413.2.5 Combiner:本地reduce 433.2.6 预定义mapper和Reducer类的...

    hadoop中文文档

    hadoop 中文文档index Prefetch chain 预处理链 Pre selector Precondition Enforcer Fetch chain 提取链 Fetch DNS Fetch Http Extractor chain抽取链 Extractor HTML Extractor JS Write Chain 写链 ARC ...

    Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理.part2

    从源代码角度深入分析Common和HDFS的架构设计与实现原理,为Hadoop的优化、定制和扩展提供原理性指导。从源代码中参透分布式技术精髓与分布式系统设计的优秀思想和方法。 由于cdsn上传文件大小的限制,只好将文件...

    Hadoop实战(陆嘉恒)译

    细则手册7.1 向任务传递作业定制的参数7.2 探查任务特定信息7.3 划分为多个输出文件7.4 以数据库作为输入输出7.5 保持输出的顺序7.6 小结第8 章 管理Hadoop8.1 为实际应用设置特定参数值8.2 系统体检8.3 权限设置8.4...

    基于 Hadoop 数据仓库的搭建

    基于 Hadoop 数据仓库的搭建 为什么需要数据仓库?  传统的数据库中,存放的数据较多是一些定制性数据,表是二维的,一张表可以有很多字段,字段一字排开,对应的数据就一行一行写入表中,特点就是利用二维表表现...

    Apache Flume-Hadoop分布式日志收集_第二版

    深入介绍Flume众多更加有用的组件的细节信息,包括用于即时数据记录持久化的重要的文件通道、用于缓存并将数据写到HDFS中的HDFS接收器,以及Hadoop分布式文件系统。对于Flume各个架构组件(源、通道、接收器、通道...

    基于 hadoop 实现的电影推荐系统+源代码+文档说明+sql

    ### 基于 hadoop 实现的电影推荐系统+源代码+文档说明+sql 1. 用户评分 2. 分类推荐 3. 豆瓣推荐 4. 定制推荐(协同过滤) -------- 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,...

    Experienced-driver-movies:基于hadoop电影推荐系统

    定制推荐(协同过滤) 电影表 电影名称/别名 导演 时间 票房 综合评分 电影id 评分表 用户id 电影id 分值 评分时间 备注 用户表 用户id 用户名 用户出生年月日 用户性别 密码 邮箱 热门榜单 最新电影榜单 历史总榜单...

    模型驱动方法在云中部署Hadoop

    为了根据需求快速定制,部署和扩展Hadoop服务,本文提出了一种模型驱动的Hadoop部署方法。 首先,介绍了Hadoop需求和部署模型。 其次,提出了从需求模型到部署模型的转换方法。 第三,基于运行时模型实现了Hadoop...

    Apache Hadoop---Flume.docx

    Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

    koonkie:用于宏基因组处理的 Hadoop 框架

    处理此类数据集通常需要定制设计的软件和高性能计算资源,而这些资源又需要定期监控和维护。 传统网格系统的固有设计限制了用户控制和按需可访问性和可用性。 高速互联网带宽的最新进展以及价格合理且可扩展的...

Global site tag (gtag.js) - Google Analytics