糖尿病康复 > [喵咪大数据]Hive2搭建和基本操作

[喵咪大数据]Hive2搭建和基本操作

时间：2022-01-30 07:07:23

相关推荐

[喵咪大数据]Hive2搭建和基本操作

说的Hadoop生态有一个不得不提的组件那就是,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总,大大减少了早期需要使用MapReduce编程的烦扰,今天就和笔者一起来探索Hive的实际应用场景吧.

附上:

HIVE官网地址:Apache Hive TM

喵了个咪的博客:w-

1.环境配置

hadoop集群环境需要提前配置好,可以在master上进行搭建也可以单独一台机器进行搭建这里使用一台独立的centos7.X 64位服务器进行Hive服务搭建并且连接到之前的Hadoop集群

通过oneinstack配置环境

> mkdir -p /app/install && cd /app/install> wget /oneinstack-full.tar.gz> tar -zxvf oneinstack-full.tar.gz # 安装选择mysql5.7 密码为 hive666> cd oneinstack && ./install.sh

关闭防火墙(端口通讯会被拦截)

> systemctl stop firewalld.service # 关闭firewall> systemctl disable firewalld.service # 禁止firewall开机启动

分别修改服务器的主机名

# 最后主机名会全小写状态显示> hostnamectl set-hostname hive

修改服务器的host 和hadoop节点建立关联

> vim /etc/hosts192.168.1.101 hadoop-1192.168.1.102 hadoop-2192.168.1.103 hadoop-3

使用 Hive 需要Java 和 hadoop 环境我们从之前的 hadoop-1 把相对应的包复制过来

> scp -r /usr/local/jdk1.8 root@192.168.1.104:/usr/local/jdk1.8> scp -r /usr/local/hadoop-2.7.3 root@192.168.1.104:/usr/local/hadoop-2.7.3

增加java和hadoop的环境变量

# javaexport JAVA_HOME=/usr/local/jdk1.8export JRE_HOME=/usr/local/jdk1.8/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH# hadoopexport HADOOP_HOME=/usr/local/hadoop-2.7.3export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

准备hive软件包之后需要Hive和Hbase进行结构上的管理和与Spark关联进行查询上的效率提高这里选用Hive2.3.0版本

apache-hive-2.3.0-bin.tar.gz

创建hadoop用户

> useradd -m hadoop -s /bin/bash> passwd hadoop

2.安装配置

安装HIVE

解压安装Hive

> cd /app/install> tar -zxvf apache-hive-2.3.0-bin.tar.gz> mv apache-hive-2.3.0-bin /usr/local/hive-2.3.0

设置 Hive环境变量

> vim /etc/profile# hiveexport HIVE_HOME=/usr/local/hive-2.3.0export PATH=$PATH:$HIVE_HOME/bin# 让配置生效> source /etc/profile

配置Hive2.X

配置文件重命名

在运行 Hive 之前需要使用以下命令修改配置文件:

> cd /usr/local/hive-2.3.0/conf> cp hive-env.sh.template hive-env.sh> cp hive-default.xml.template hive-site.xml> cp hive-log4j2.properties.template hive-log4j2.properties> cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

修改hive-env.sh因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径：

> vim hive-env.shexport JAVA_HOME=/usr/local/jdk1.8 ##Java路径export HADOOP_HOME=/usr/local/hadoop-2.7.3 ##Hadoop安装路径export HIVE_HOME=/usr/local/hive-2.3.0 ##Hive安装路径export HIVE_CONF_DIR=/usr/local/hive-2.3.0/conf ##Hive配置文件路径

在hive机器切换到hadoop用户创建hive数据存放目录

> su hadoop# 创建HDFS目录> hdfs dfs -mkdir -p /hive> hdfs dfs -chmod 777 /hive> hdfs dfs -mkdir -p /hive/warehouse> hdfs dfs -mkdir -p /hive/tmp> hdfs dfs -mkdir -p /hive/log> hdfs dfs -chmod 777 /hive/warehouse> hdfs dfs -chmod 777 /hive/tmp> hdfs dfs -chmod 777 /hive/log

一些复杂的查询或操作会使用的MR程序,应为执行MR程序需要tmp目录中的yarn权限所有如果不是以hadoop用户权限执行不然会有如下异常

org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn/staging/hive/.staging":hadoop:supergroup:drwx------# 解决方式> hdfs dfs -chmod -R 777 /tmp

将 hive-site.xml 文件中以下几个配置项的值设置成上一步中创建的几个路径。

> vim /usr/local/hive-2.3.0/conf/hive-site.xml<property><name>hive.exec.scratchdir</name><value>/hive/tmp</value><description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description></property><property><name>hive.metastore.warehouse.dir</name><value>/hive/warehouse</value><description>location of default database for the warehouse</description></property><property><name>hive.querylog.location</name><value>/hive/log</value><description>Location of Hive run time structured log file</description></property>

Hive Metastore

默认情况下, Hive 的元数据保存在内嵌的 Derby 数据库里, 但一般情况下生产环境会使用 MySQL 来存放 Hive 元数据。

创建数据库和用户

假定你已经安装好 MySQL。下面创建一个 hive 数据库用来存储 Hive 元数据，且数据库访问的用户名和密码都为 hive。

mysql -u root -pmysql> CREATE DATABASE hive;mysql> USE hive;mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';mysql> FLUSH PRIVILEGES;mysql> quit;

修改hive-site.xml需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息。

> vim /usr/local/hive-2.3.0/conf/hive-site.xml<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value></property>

初始化Hive

在命令行运行 hive 命令时必须保证以下两点：

HDFS 已经启动。

MySQL Java 连接器添加到 $HIVE_HOME/lib 目录下。我安装时使用的是 mysql-connector-java-5.1.42.jar。

> cd /usr/local/hive-2.3.0/lib> wget /mysql/Downloads/Connector-J/mysql-connector-java-5.1.42.zip> unzip mysql-connector-java-5.1.42.zip> cp mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar /usr/local/hive-2.3.0/lib/> rm -rf mysql-connector-java-5.1.42.zip

从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。

schematool -dbType mysql -initSchema

最后会输出

schemaTool completed

我们可以通过数据库查看终端查看hive库中已经存在部分内容

要使用 Hive CLI（Hive command line interface）, 可以在终端输入以下命令：

hive> show tables;OKTime taken: 0.839 seconds

如果报出异常

Exception in thread "main" java.lang.IllegalArgumentException: .URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

需要将 hive-site.xml 中的 system:java.io.tmpdir和{system:user.name} 分别替换成 /tmp 和 ${user.name}

3.基本操作

创建库

CREATE DATABASE语句

// 创建库如果存在则不创建CREATE DATABASE IF NOT EXISTS userdb;m// 创建数据库如果存在则会报错CREATE SCHEMA userdb;

下面的查询用于验证数据库列表：

hive> SHOW DATABASES;defaultuserdb

删除数据库

// 删除库如果存在则不删除DROP DATABASE IF EXISTS userdb;// 删除数据库必须要删除完其中的表草能删除DROP DATABASE IF EXISTS userdb CASCADE;// 删除数据库DROP SCHEMA userdb;

选择数据库

USE userdb;

Hive创建表

最简单的方式创建表

CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String);

通过COMMENT可以增加一个备注可以给整表或字段

CREATE TABLE IF NOT EXISTS employee ( eid int COMMENT 'eid details', name String, salary String, destination String)COMMENT 'Employee details';

CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String)COMMENT 'Employee details'ROW FORMAT DELIMITEDFIELDS TERMINATED BY ' 'STORED AS TEXTFILE;

通过TERMINATED可以指定了字段的分隔符为\t分列是\n，所以load数据的时候，load的文本也要为\t分隔\n分行，否则加载后为NULL。hive只支持单个字符的分隔符，hive默认的分隔符是\001

存储类型Hive具有三类自带存储类型TEXTFILE和SEQUENCEFILE，RCFILE可以通过STORED指定

- TEXTFIEL:默认格式，数据不做压缩，磁盘开销大，数据解析开销大。

- SEQUENCEFILE:SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。

- RCFILE:RCFILE是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。RCFILE文件示例：

相比TEXTFILE和SEQUENCEFILE，RCFILE由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取，因此，整体来看，RCFILE相比其余两种格式具有较明显的优势

下面的查询用于查看当前库表列表：

hive> SHOW TABLES;OKemployee

查看表信息

desc formatted employee;desc employee;

删除表

DROP TABLE IF EXISTS employee;

Alter Table 语句

修改表名称

ALTER TABLE employee RENAME TO emp;

Change 语句

修改字段名称和字段类型

# 修改name为ename 类型不变还是StringALTER TABLE employee CHANGE name ename String;# 修改salary名称不变类型修改为DoubleALTER TABLE employee CHANGE salary salary Double;

增加了一个列名dept在employee表中

ALTER TABLE employee ADD COLUMNS ( dept STRING COMMENT 'Department name');

插入数据

重新创建employee表,在本地文件系统准备文本sample.txt

vim /home/hive/sample.txt1201 Gopal 45000 Technicalmanager1202 Manisha 45000 Proofreader1203 Masthanvali 40000 Technicalwriter1204 Kiran 40000 HrAdmin1205 Kranthi 30000 OpAdmin

加载给定文本插入表中(LOAD DATA只是把文件复制到指定的目录下,多次操作只会保留最后一次)

LOAD DATA LOCAL INPATH '/home/hive/sample.txt'OVERWRITE INTO TABLE employee;

插入单条数据(消耗时间很长,可以结合Hbase来达到实时增加数据)

INSERT INTO TABLE employee values(12,"1","1","1");

查询是否插入成功

select * from employee;OK121 1 11201 Gopal 45000 Technicalmanager1202 Manisha 45000 Proofreader1203 Masthanvali40000 Technicalwriter1204 Kiran 40000 HrAdmin1205 Kranthi 30000 OpAdminTime taken: 0.063 seconds, Fetched: 5 row(s)