實(shí)現(xiàn)Hive數(shù)據(jù)同步更新的shell腳本

上一篇文章《Sqoop1.4.4 實(shí)現(xiàn)將 Oracle10g 中的增量數(shù)據(jù)導(dǎo)入 Hive0.13.1 ，并更新Hive中的主表》描述了增量更新Hive表的原理和Sq

引言：

上一篇文章《Sqoop1.4.4 實(shí)現(xiàn)將 Oracle10g 中的增量數(shù)據(jù)導(dǎo)入 Hive0.13.1 ，，并更新Hive中的主表

shell腳本

#!/bin/bash

#Please set the synchronize interval,unit is hour.

update_interval=24

#Please set the RDBMS connection params

rdbms_connstr="jdbc:oracle:thin:@192.168.0.147:1521:ORCLGBK"

rdbms_username="SP"

rdbms_pwd="fulong"

rdbms_table="OMP_SERVICE"

rdbms_columns="ID,SERVICE_NAME,SERVICE_PROCESS,CREATE_TIME,ENABLE_ORG,ENABLE_PLATFORM,IF_DEL"

#Please set the hive params

hive_increment_table="SERVICE_TMP"

hive_full_table="service_all"

#---------------------------------------------------------

#Import icrement data in RDBMS into Hive

enddate=$(date '+%Y/%m/%d %H:%M:%S')

startdate=$(date '+%Y/%m/%d %H:%M:%S' -d '-'+${update_interval}+' hours')

$SQOOP_HOME/bin/sqoop import --connect ${rdbms_connstr} --username ${rdbms_username} --password ${rdbms_pwd} --table ${rdbms_table} --columns "${rdbms_columns}" --where "CREATE_TIME > to_date('${startdate}','yyyy-mm-dd hh24:mi:ss') and CREATE_TIME < to_date('${enddate}','yyyy-mm-dd hh24:mi:ss')" --hive-import --hive-overwrite --hive-table ${hive_increment_table}

#---------------------------------------------------------

#Update the old full data table to latest status

$HIVE_HOME/bin/hive -e "insert overwrite table ${hive_full_table} select * from ${hive_increment_table} union all select a.* from ${hive_full_table} a left outer join ${hive_increment_table} b on a.service_code = b.service_code where b.service_code is null;"

注意：

在shell腳本中執(zhí)行hive hql的命令格式是 hive -e "select ..."

Cron腳本

添加定時(shí)任務(wù)每天凌晨2點(diǎn)執(zhí)行該腳本

0 2 * * * /home/fulong/shell/dataSync.sh

基于Hadoop集群的Hive安裝

Hive內(nèi)表和外表的區(qū)別

Hadoop + Hive + Map +reduce 集群安裝部署

Hive本地獨(dú)立模式安裝

Hive學(xué)習(xí)之WordCount單詞統(tǒng)計(jì)

Hive運(yùn)行架構(gòu)及配置部署

Hive 的詳細(xì)介紹：請(qǐng)點(diǎn)這里
Hive 的下載地址：請(qǐng)點(diǎn)這里

本文永久更新鏈接地址：

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com