Coin163

  • 集群安装:HA与Federation(测试)

    /ifcfg-eth0   修改网卡2: 设置好后重启网络服务:   看网卡的配置信息:     2)、修改主机名(修改/etc/hosts文件) (在三个节点同时操作) [root@hadoop2 ~]# vi /etc/hosts   # Do not remove

    日期:2016年02月07日
  • Hadoop学习总结之四:Map-Reduce的过程解析

    转自:博客园 觉先 Hadoop学习总结之四:Map-Reduce的过程解析 一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的: public

    日期:2015年01月20日
  • linux环境下配置eclipse

    linux环境下配置eclipse 标签(空格分隔): hadoop 1,配置JDK环境变量 2,安装maven项目管理工具 /etc/profile文件配置 export JAVA_HOME=/root/jdk1.7.0_67 export

    日期:2016年04月12日
  • [Hadoop]设置Task的jvm heap size

    >  有人说应该改hadoop-env.sh里的HADOOP_HEAPSIZE. 这是错的, HADOOP_HEAPSIZE是给一些HADOOP后台进程用的,不是给task用的

    日期:2014年10月24日
  • Hadoop学习8:hdfs文件操作

    Hadoop学习8:hdfs文件操作 标签(空格分隔): hadoop Hadoop学习8hdfs文件操作 一hdfs文件流读操作 三合并文件上传到 一,hdfs文件流读操作 读文件流程 (1)打开分布式文件 调用 分布式文件

    日期:2016年04月12日
  • 2分钟读懂大数据框架Hadoop和Spark的异同

    原文链接 谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先,Hadoop和Apache

    日期:2016年01月02日
  • 搭建hadoop的高可用性(HA)集群

    本文为传智播客八天——第五天学习笔记 因为电脑配置问题,只能同时运行三台虚拟机。三台是hadoop高可用性集群的最小数目。不能再少了。 前期准备: 1、修改linux主机名和IP 2、修改主机名和IP的映射关系 3、关闭防火墙 4、ssh免登录 5、安装

    日期:2016年04月21日
  • hadoop 二次排序 - 博客频道 - CSDN.NET

    字节级别的细节。如果真的需要自己编写comparator,必须参考org.apache.hadoop.io包中对Writable接口的实现。WriterableUtils提供的方法也比较好。注意,TextPair有连个字段,我们需要比较两个字段(name

    日期:2017年03月23日
  • Hadoop学习笔记(二):MapReduce的特性-计数器、排序

    java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.util.Tool; import

    日期:2015年05月07日
  • Hadoop搭建注意事项

    /details/51018425 1 Hadoop 各个目录的解释 bin:Hadoop管理脚本和使用脚本所在目录, sbin目录下的脚本都是使用此目录下的脚本实现的。 etc:Hadoop的所有配置文件所在的目录,所有hadoop的配置在etc/hadoop目录

    日期:2016年04月01日
  • Hadoop学习总结之五:Hadoop的运行痕迹

    转自:博客园 觉先 Hadoop学习总结之五:Hadoop的运行痕迹 Hadoop 学习总结之一:HDFS简介 Hadoop学习总结之二:HDFS读写过程解析 Hadoop学习总结之三:Map-Reduce入门 Hadoop学习总结之四:Map-Reduce

    日期:2015年01月20日
  • Hive编程指南 读书笔记

    Hadoop生态系统是为了处理大数据集而产生的一个合乎成本效益的剞劂方案。Hadoop实现了一个特别的计算模型也就是MapReduce ,它可以将计算任务分割成多个处理单元然后反三刀一群家用的或是服务器级别的硬件机器上,从而降低成本并提供了平台可以伸缩性

    日期:2015年12月18日
  • Hadoop学习七:其它相关配置

    文章来源:http://www.devhome.cc/forum.php?mod=viewthread&tid=4&page=1#pid5 废话少说,直接上代码: - (BOOL) isBlankString:( NSString *)string {     if (string == nil || string == NULL) {         return YES;     }     if ([string isKindOfClass:[NSNull class]]) {         return YES;     }     if ([[string stringByTrim

    日期:2016年04月12日
  • Hive-0.5中UDF和UDAF简述

    一、UDF 1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java

    日期:2016年04月21日
  • 一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了

    大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是

    日期:2016年05月31日
  • org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决

    检查发现是DataNode一直连接不到NameNode。 检查各个节点在etc/hosts中的配置是否有127.0.1.1 xxxxxx。如果有把其屏蔽或者删除,重启各节点即可。 原因:127.0.1.1是debian中的本地回环。这个造成了hadoop解析

    日期:2016年03月15日
  • Flume安装&以及常用的代理配置

    up vote 0 down vote favorite 2 I'm trying to capture a click event on a selection of existing DOM items using Angular: here's the code: <!-- HTML template (section) - it's a django template, i kept the django template syntax as original, using '{{' and '}}', and for AngularJS templating's system

    日期:2016年03月17日
  • Hadoop学习二:伪分布式环境搭建

    Hadoop学习二:伪分布式环境搭建 标签(空格分隔): hadoop Hadoop学习二伪分布式环境搭建 一配置固定固定IP 二linux设置静态IP 三关闭防火墙 四安装jdk和hadoop 五启动hadoop 一,配置固定固定IP 以root权限修改

    日期:2016年04月06日
  • Hadoop学习总结之七:HDFS 操作

    ; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import org.apache.hadoop

    日期:2015年01月27日
  • Hadoop: strange NullPointer Exception running in MapReduce 的解决办法

    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:843) at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:376

    日期:2016年04月23日