Coin163

  • Hadoop家族

    http://blog.fens.me/hadoop-family-roadmap/ 一句话产品介绍: Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算

    日期:2015年09月23日
  • hadoop搭建

    Hadoop搭建   一、在修改hostname和hosts 1.修改hostname sudo vi /etc/hostname 2.修改hosts, 是各个节点之间可以通过主机名连接 sudo vi /etc/hosts   二、在Ubuntu下创建

    日期:2015年09月25日
  • Hadoop HA实战

    Hadoop HA了解: 由于hadoop集群中所有数据信息存储在namenode上,因此namenode成为集群的核心,也是安全隐患,如果namenode因故障停止或者损坏,将导致集群的无法正常运行,或者说数据的丢失发生。因此对namenode的备份显得

    日期:2016年01月29日
  • Hadoop集群搭建

    今天我在自己的机器上,通过多个虚拟机系统,来搭建hadoop伪集群环境。         一、下面就先来说一下搭建hadoop集群环境所需要做的准备工作: 首先,我用的是VMware Workstation11, 所使用的虚拟机系统

    日期:2015年07月29日
  • Hadoop笔记(1)

      Hadoop历史         雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。         随后在2003年Google发表

    日期:2015年05月31日
  • hadoop命令详解

    一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop

    日期:2016年03月20日
  • CentOS下安装hadoop

    CentOS下安装hadoop 用户配置 添加用户 adduser hadoop passwd hadoop 权限配置 chmod u+w /etc/sudoers vi /etc/sudoers 在 root ALL=(ALL) ALL 下添加

    日期:2015年07月23日
  • 读Hadoop in action

    今天读Hadoop in action 中遇到一个图片讲解Map Reduce关系的时候,感觉比较形象,截下图来。

    日期:2011年11月25日
  • Hadoop实现多表关联

    对于用Hadoop实现多表关联的算法,在理解mapreduce编程模型的基础上,实现起来并不难! 如下有两个文件:分别为factory.txt和addressID.txt factoryname addressed Beijing Red Star 1

    日期:2015年12月06日
  • hadoop shell命令大全

    1、列出所有Hadoop Shell支持的命令   $ bin/hadoop fs -help 2、显示关于某个命令的详细信息   $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总

    日期:2016年03月31日
  • Hadoop命令大全

    1、列出所有Hadoop Shell支持的命令   $ bin/hadoop fs -help 2、显示关于某个命令的详细信息   $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总

    日期:2016年02月25日
  • 安装Ganglia监控hadoop

    Ganglia安装 安装Ganglia监控hadoop yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

    日期:2016年03月31日
  • 编译hadoop2.6

    export PATH=$PATH:$JAVA_HOME/bin 3.安装protobuf 下载protobuf-2.5.0,不能用高版本,否则Hadoop编译不能通过 wget https://protobuf.googlecode.com/files

    日期:2016年04月07日
  • Hadoop之HDFS文件操作

    本文转载自:http://blog.csdn.net/wangloveall/article/details/28578393 摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作

    日期:2015年07月07日
  • hadoop调优相关

     -jobconf mapred.reduce.slowstart.completed.maps=0.99 map完成99%才开始reduce阶段,避免reduce空等。

    日期:2015年04月20日
  • Hadoop学习总结之六:HADOOP基本操作命令

    转自: 博客园 逖靖寒 逖靖寒的世界 HADOOP基本操作命令 HADOOP基本操作命令   在这篇文章中,我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop

    日期:2015年01月20日
  • hadoop多文件格式输入(MultipleInputs)

    转载自:http://blog.csdn.net/fansy1990/article/details/26267637 hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。 比如现在有如下的需求

    日期:2016年02月21日
  • Hadoop远程过程调用

    等具体代码,提高了程序的互操作性。Hadoop IPC(Inter-Process Communication,进程间通信)属于RPC的一种比较简单的实现。 RPC原理 简单地说,RPC就是允许程序调用位于其他机器上的过程(也可以是同一台机器的不同进程)。当机

    日期:2015年10月13日
  • hadoop hive hbase 集群搭建

    摘要:去年开发BI系统,其中ETL用到了Hadoop和Hive,我用三台Dell服务器,搭建了一个Hadoop集群,用于开发测试。 在接下来的几篇中,我会介绍些BI架构设计的内容,以及在开发中遇到的困难和解决办法。今天就说一下搭建集群! 运行环境 服务器清单

    日期:2015年05月09日
  • Hadoop常见错误解决

    原文地址:http://www.cnblogs.com/haoxinyue/archive/2013/06/06/hadoop.html 1. 通过命令和查看日志文件查看hadoop启动和运行情况 在NameNode端,可以通过 tail -100 /var

    日期:2015年04月17日