Coin163

  • Hadoop中的一些基本操作

    转自:http://my.oschina.net/kevin701/blog/228684 这个如果用在公司里部署的 hadoop 环境 把 -fs 改成 -dfs    先粗略说一下“hadoop fs”和“hadoop dfs”的区别:fs是各比较抽象的

    日期:2016年01月27日
  • 基于虚拟linux+docker搭建hadoop完全分布式集群 - 博客频道 - CSDN.NET

    本文假设用户基本了解docker,掌握linux的基本使用命令,了解hadoop的常规安装及简单配置 实验环境:windows10+Vmware WorkStation 11+Linux.14.04 server+docker 1.7 windows 10

    日期:2017年03月17日
  • Hive自身数据导入的方式

     Hive几种常见的数据导入方式,总结为四种: 1、从本地文件系统中导入数据到Hive表; 2、从HDFS上导入数据到Hive表; 3、从别的表中查询出相应的数据并导入到Hive表中; 4、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hive表 LOAD DATA LOCAL INPATH '/home/spark/opt/data_dir/base_food_all_20151029.txt' OVERWRITE INTO TABLE base_food_1104_local; 用时:Time taken: 0.415 seconds

    日期:2015年11月05日
  • hadoop2.x 的配置文件修改备记

    以下是安装hadoop-2.2.0时的在配置文件中的修改,本着最简单的原则,只修改了一些必要的配置,而且我个人觉得某些教程上的修改也没有必要,The default may be the best。 OK,共修改了$HADOOP_HOME/etc

    日期:2015年06月13日
  • Hadoop词频统计(一)之集群模式运行

    > <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId

    日期:2016年07月24日
  • Hadoop基础入门教程-Hadoop单机模式安装

    Hadoop基础入门教程-Hadoop单机模式安装 1. 获取Linux环境 VMware虚拟机安装Linux系统 http://www.cnblogs.com/simplefrog/archive/2012/07/14/2591920.html 租借云主机

    日期:2015年08月04日
  • Hadoop集群全分布式安装(CentOS)

      本文只是在CentOS下Hadoop环境的搭建步骤,不涉及原理。供自己下次搭建时能有个参考。 1.说明   由于原先使用的是Ubuntu14.04-server安装的,总是出现各种各样的问题,再请教大牛和网上查资料后觉得用CentOS安装是最快

    日期:2016年02月16日
  • hadoop配置文件详解,安装及相关操作

    一、      Hadoop伪分布配置  1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6  2.  在conf/core-site.xml文件中增加如下内容

    日期:2014年11月01日
  • Hadoop学习三:hadoop的一些基本配置以及相关概念

    Hadoop学习三:hadoop的一些基本配置以及相关概念 标签(空格分隔): hadoop Hadoop学习三hadoop的一些基本配置以及相关概念 一一些基本的配置 二hadoop的2种日志格式 三HDFS 四YARN框架 一,一些基本的配置 1,配置

    日期:2016年04月08日
  • Hadoop数据复制方案 - IBM Big Replicate

    您是否在考虑将数据从实验环境复制到生产环境,或者实现跨不同厂商的不同Hadoop发行版本之间复制数据,或者为了保证SLA而需要建设Hadoop异地容灾,或者需要实现Hadoop混合云?如果您觉得实现这类的需求非常困难、复杂、昂贵和耗时,那您应该尝试IBM

    日期:2016年07月06日
  • Hive有用技巧小结

    /000212_0 /home/jrjt/testan/; head -n 1000 文件名 > 文件名 11.杀死某个任务  不在hive shell中执行 hadoop job -kill job_201403041453_58315 12.删除分区 alter

    日期:2016年07月20日
  • ubuntu14.04搭建hadoop集群

    主要参考文献: hadoop单机,伪分布式 http://www.powerxing.com/install-hadoop/ hadoop集群: http://www.powerxing.com/install-hadoop

    日期:2016年07月23日
  • [Nutch]编译hadoop出现object[]无法转换为K[]问题解决

    1. 问题描述 在使用JDK8编译hadoop 1.2.1的时候会出现object[]无法转换为K[]的问题,如下: 2. 问题解决 (1)打开hadoop目录下的InputSampler.java文件,路径如下: hadoop-1.2.1\src

    日期:2017年03月16日
  • 使用Eclipse基于Maven使用Java开发WordCount程序项目

    1.前提条件     下载JavaEE Eclipse ,自带Maven     安装好JDK1.8     下载并配置了Hadoop 2.6.x 2.创建Maven Project      选择 Maven-archetype-quickstart 选项

    日期:2016年02月11日
  • Hadoop集群安装(1 master + 2 slave)(ubuntu-14.04.3 + hadoop 2.6.3)

    : 1.创建hadoop用户名  #sudouseradd -m hadoop -s /bin/bash   /*创建了hadoop 用户,并使用 /bin/bash 作为 shell。 # sudopasswd hadoop #sudoadduser hadoop

    日期:2016年01月12日
  • [Nutch]Hadoop单机伪分布式模式的使用(deploy)

    在上一篇博文我们对Nutch进行了hadoop的配置,那么本文就对nutch的deploy模式的使用进行说明。 1. 配置抓取链接 先进入nutch的deply目录: cd nutch/runtime/deploy 和在local模式一样 ,我们先建立一个

    日期:2017年03月10日
  • [Nutch]Hadoop单机伪分布模式的配置 - 博客频道 - CSDN.NET

    在之前的博文中,我们一直在使用Nutch的local模式,那么Nutch的Deploy模式该怎么使用呢?首先我们来配置hadoop,为使用Nutch的deploy模式做准备。 1. 下载hadoop 在workspace目录使用如下命令下载hadoop

    日期:2017年03月20日
  • [Nutch]Hadoop单机伪分布模式的配置 - 博客频道 - CSDN.NET

    在之前的博文中,我们一直在使用Nutch的local模式,那么Nutch的Deploy模式该怎么使用呢?首先我们来配置hadoop,为使用Nutch的deploy模式做准备。 1. 下载hadoop 在workspace目录使用如下命令下载hadoop

    日期:2017年03月25日
  • Mac上运行第一个Hadoop实例

    之前转过 一篇文章 ,介绍如何配置伪分布式的Hadoop。不过在Mac上的配置方法和Linux上有一点点区别。另外,本篇还从头介绍了一下创建和运行Hadoop工程的方法。 配置Hadoop 首先确保 java 已经正确安装,最好使用1.6以上的版本

    日期:2015年05月10日
  • 搭建企业级大数据分析平台也可以很简单!

    是搭建不起来的。 IBM作为大数据分析领域的领导者,有着其他厂商或开源无法比拟的完整BigData生态系统。下面然让我们来看看这个生态系统包括哪些产品。 IBM Open Platform with Apache Hadoop IOP是IBM遵循Open Data

    日期:2016年07月12日