最新文章專題視頻專題問答1問答10問答100問答1000問答2000關(guān)鍵字專題1關(guān)鍵字專題50關(guān)鍵字專題500關(guān)鍵字專題1500TAG最新視頻文章推薦1 推薦3 推薦5 推薦7 推薦9 推薦11 推薦13 推薦15 推薦17 推薦19 推薦21 推薦23 推薦25 推薦27 推薦29 推薦31 推薦33 推薦35 推薦37視頻文章20視頻文章30視頻文章40視頻文章50視頻文章60 視頻文章70視頻文章80視頻文章90視頻文章100視頻文章120視頻文章140 視頻2關(guān)鍵字專題關(guān)鍵字專題tag2tag3文章專題文章專題2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章專題3
問答文章1 問答文章501 問答文章1001 問答文章1501 問答文章2001 問答文章2501 問答文章3001 問答文章3501 問答文章4001 問答文章4501 問答文章5001 問答文章5501 問答文章6001 問答文章6501 問答文章7001 問答文章7501 問答文章8001 問答文章8501 問答文章9001 問答文章9501
當(dāng)前位置: 首頁 - 科技 - 知識百科 - 正文

添加lzoforhivetable

來源:懂視網(wǎng) 責(zé)編:小采 時(shí)間:2020-11-09 13:25:02
文檔

添加lzoforhivetable

添加lzoforhivetable:hivehiveconf hive.exec.compress.output=true hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec 之后為其每個(gè)lzo塊添加index: hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.Distr hiveR
推薦度:
導(dǎo)讀添加lzoforhivetable:hivehiveconf hive.exec.compress.output=true hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec 之后為其每個(gè)lzo塊添加index: hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.Distr hiveR

hive?hiveconf hive.exec.compress.output=true hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec 之后為其每個(gè)lzo塊添加index: hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.Distr

hive?–hiveconf hive.exec.compress.output=true –hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec

之后為其每個(gè)lzo塊添加index:

hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.DistributedLzoIndexer ?path/xxx.lzo ? ?注意(沒有-jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec選項(xiàng)只設(shè)置-jobconf mapred.output.compress=true 選項(xiàng)的話 reduce作業(yè)輸出文件的格式為.lzo_deflate )

之所以要為其添加index的原理:

這樣會按照block大小來切分塊。(速度變快,但是多消耗cpu時(shí)間。map數(shù)目大量增加)

如果不對文件建立lzo索引則不會按照block來切分塊

使用LZO過程會發(fā)現(xiàn)它有兩種壓縮編碼可以使用,即LzoCodec和LzopCodec,下面說說它們區(qū)別:

  1. LzoCodec比LzopCodec更快, LzopCodec為了兼容LZOP程序添加了如?bytes signature, header等信息
  2. 如果使用?LzoCodec作為Reduce輸出,則輸出文件擴(kuò)展名為”.lzo_deflate”,它無法被lzop讀??;如果使用LzopCodec作為Reduce輸出,則擴(kuò)展名為”.lzo”,它可以被lzop讀取
  3. 生成lzo index job的”DistributedLzoIndexer“無法為 LzoCodec,即 “.lzo_deflate”擴(kuò)展名的文件創(chuàng)建index
  4. ”.lzo_deflate“文件無法作為MapReduce輸入,”.LZO”文件則可以。
  5. 綜上所述得出最佳實(shí)踐:map輸出的中間數(shù)據(jù)使用 LzoCodec,reduce輸出使用 LzopCodec

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。

文檔

添加lzoforhivetable

添加lzoforhivetable:hivehiveconf hive.exec.compress.output=true hiveconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec 之后為其每個(gè)lzo塊添加index: hadoop jar /usr/local/hadoop/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.Distr hiveR
推薦度:
標(biāo)簽: 添加 插入 for
  • 熱門焦點(diǎn)
專題
Top
fffffffffffff

抖音扫码关注

手机端二维码

每天分享百科知识!