将博客搬至CSDN

将博客搬至CSDN

技术分享 2019-11-29 PM 12℃ 0条
hive如何开启输出阶段压缩-大萝卜博客

hive如何开启输出阶段压缩-大萝卜博客

开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下:开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;设置mapreduce中map输出数据的压缩方式set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;执行查询语句select c...

技术分享 2019-11-28 AM 22℃ 0条
Hive如何创建数据库与数据库表并指定字段之间的分隔符-大萝卜博客

Hive如何创建数据库与数据库表并指定字段之间的分隔符-大萝卜博客

hive 数据库操作创建数据库create database if not exists myhive; # 使用数据库 use myhive;说明:hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value>创建数据库并指定hdfs存储位置create database myhive2 location '/myhive2';修改数据库可以使用alter databas...

技术分享 2019-11-26 PM 18℃ 0条
Hive所有字段类型汇总-大萝卜博客网

Hive所有字段类型汇总-大萝卜博客网

分类类型描述字面量示例原始类型BOOLEANtrue/falseTRUE-TINYINT1字节的有符号整数 -128~1271Y-SMALLINT2个字节的有符号整数,-32768~327671S-INT4个字节的带符号整数1-BIGINT8字节带符号整数1L-FLOAT4字节单精度浮点数1.0-DOUBLE8字节双精度浮点数1.0-DEICIMAL任意精度的带符号小数1.0-STRING字符串,变长“a”,’b’-VARCHAR变长字符串“a”,’b’-CHAR固定长度字符串“a”,’b’-BINARY字节数组字节数组-TIMESTAMP时间戳,毫秒值精度122327493795-DA...

技术分享 2019-11-20 PM 37℃ 0条
HIVE的安装部署-大萝卜博客网

HIVE的安装部署-大萝卜博客网

注意:hive安装包我会放在本文最后 如有需要请自行下载derby版hive直接使用:缺点:多个地方安装hive后,每一个hive是拥有一套自己的元数据,大家的库、表就不统一;解压hivecd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动 bin/hivebin/hive用mysql共享hive元数据mysql数据库的安装(centos)第一步:在线安装mysql相关的软件包yum install mysql mysql-server mysql-devel第二步:启动mys...

技术分享 2019-11-20 AM 22℃ 0条
MapReduce如何开启压缩算法对结果进行压缩-大萝卜博客网

MapReduce如何开启压缩算法对结果进行压缩-大萝卜博客网

注:本文使用snappy算法进行压缩 内容在驱动类里面修改方式一:在代码中进行设置压缩设置map阶段的压缩Configuration configuration = new Configuration(); configuration.set("mapreduce.map.output.compress","true"); configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec...

技术分享 2019-11-18 PM 26℃ 0条
HDFS的shell命令操作-大萝卜博客网

HDFS的shell命令操作-大萝卜博客网

hdfs dfs 具体命令[[email protected] Hadoop-2.6.0-cdh5.14.0]# bin/hdfs dfsUsage: Hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <M...

技术分享 2019-11-04 PM 38℃ 0条
大数据环境搭建篇  CDH分布式环境搭建 (支持snappy)-大萝卜博客网

大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客网

准备:1.配置好java环境变量2.配置好主机名/etc/sysconfig/network3.配置好hosts /etc/hosts4.配置好免密登录ssh5.关闭selinux以及防火墙第一步:上传压缩包并解压将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载)第一台机器执行以下命令cd /export/softwares/mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gztar -zxvf hadoop-2.6.0-cdh5.1...

技术分享 2019-10-31 PM 67℃ 0条