位置:首页 > 九章学会Hive - Linux下操作Mysql >

九章学会Hive - Linux下操作Mysql

作者:小牛君|发布时间:2017-06-15

小牛学堂的课程大纲最近进行了再一次升级,并且同时推出Java大数据平台开发班、Python爬虫与数据挖掘班、Spark项目班、Spark大神班、机器学习算法实战班、BI数据分析实战班, 目前这类人群凤毛麟角,导致这个行业的平均薪资极高,为此小牛学堂集合了行业的诸多大牛开设对应班级,为想学习的同学提供机会!
如果想了解详细情况,请联系 今日值班讲师 或者直接加入千人QQ群进行咨询:210992946

以下是本文正文:


1.  LinuxMysql数据库

2.1安装

1删除原本依赖

rpm -e --nodeps `rpm -qa |grep MySQL`

2然后yum在线安装

 yum install -y mysql-server

3启动mysql服务

sudo service mysqld start

4初始化配置

mysql_secure_installation

5加入到开机启动项

chkconfig mysqld on

6权限授予

grant all privileges on *.* to 'root'@'%' identified by 'root';

flush privileges;

 

2.2hive乱码问题

修改hive mysql元数据库的以下编码即可:

 

-- 修改表字段和表COMMENT

ALTER TABLE COLUMNS_V2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8;

ALTER TABLE TABLE_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8;

-- 修改分区字段COMMENT

ALTER TABLE PARTITION_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8;

ALTER TABLE PARTITION_KEYS MODIFY COLUMN PKEY_COMMENT VARCHAR(4000) CHARACTER SET utf8;

-- 修改索引COMMENT

ALTER TABLE INDEX_PARAMS MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHARACTER SET utf8;

 

 

2.7linux下mysql编码修改

rpm离线包安装:

cp /usr/share/mysql/my-small.cnf /etc/my.cnf

vim /etc/my.cnf

[client]下面增加

default-character-set=utf8

[mysqld]下面增加

default-character-set=utf8

init_connect='SET NAMES utf8'

 

yum在线方式:

vim /etc/my.cnf

[mysqld]下面增加

init_connect='SET collation_connection = utf8_unicode_ci'

init_connect='SET NAMES utf8'

character-set-server=utf8

collation-server=utf8_unicode_ci

skip-character-set-client-handshake

 

重启mysql服务

service mysql restart

 

查看编码

show variables like 'char%';

临时设置编码

SET NAMES utf8;

 

 

2.8Hive在mysql的体现

image.png

TBLS维护表与数据库的关系

image.png

DBS描述了有哪些数据库

image.png

SDS描述表在hdfs的位置,并 维护表与字段的关联关系

image.png

COLUMNS_V2描述表与字段的关系

image.png



了解更多详情请联系 今日值班讲师 或者直接加入千人QQ群进行咨询:210992946

分享到: