<strike id="ca4is"><em id="ca4is"></em></strike>
  • <sup id="ca4is"></sup>
    • <s id="ca4is"><em id="ca4is"></em></s>
      <option id="ca4is"><cite id="ca4is"></cite></option>
    • 二維碼
      企資網

      掃一掃關注

      當前位置: 首頁 » 企業資訊 » 行業 » 正文

      HIVE常用優化方法

      放大字體  縮小字體 發布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數:91
      導讀

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每

      1、join連接時的優化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產生一個mapreduce。

      2、join連接時的優化_當多個表進行查詢時,從左到右表的大小順序應該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

      3、在where字句中增加分區過濾器。

      4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

      5、如果所有表中有一張表足夠小,則可置于內存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
      設置屬性即可實現,

      set hive.auto.covert.join_true;

      用戶可以配置希望被優化的小表的大小
      set hive.mapjoin.smalltable.sia_2500000;

      如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

      6、同一種數據的多種處理_從一個數據源產生的多個數據聚合,無需每次聚合都需要重新掃描一次。

      例如_

      insert overwrite table student select * from employee;

      insert overwrite table person select * from employee;

      可以優化成_

      from employee

      insert overwrite table student select *

      insert overwrite table person select *

      7、limit調優_limit語句通常是執行整個語句后返回部分結果。

      Set hive.limit.optimia.enable_true;

      8、開啟并發執行。某個job任務中可能包含眾多的階段、其中某些階段沒有依賴關系可以并發執行,開啟并發執行后job任務可以更快的完成。

      設置屬性_

      set hive.e>ecparallel_true;

      9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

      a_當表為分區表時,where字句后沒有分區字段和限制時,不允許執行。

      b_當使用order by語句時,必須使用limit字段,因為order by只會產生一個reduce任務。

      c_限制笛卡爾積的查詢。

      10、合理的設置map和reduce數量。

      11、jvm重用。可在hadoop的mapredtite.xml中設置jvm?重用的次數。

       
      (文/企資小編)
      免責聲明
      本文僅代表作發布者:企資小編個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
       

      Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

      粵ICP備16078936號

      微信

      關注
      微信

      微信二維碼

      WAP二維碼

      客服

      聯系
      客服

      聯系客服:

      在線QQ: 303377504

      客服電話: 020-82301567

      E_mail郵箱: weilaitui@qq.com

      微信公眾號: weishitui

      客服001 客服002 客服003

      工作時間:

      周一至周五: 09:00 - 18:00

      反饋

      用戶
      反饋

      午夜久久久久久网站,99久久www免费,欧美日本日韩aⅴ在线视频,东京干手机福利视频
        <strike id="ca4is"><em id="ca4is"></em></strike>
      • <sup id="ca4is"></sup>
        • <s id="ca4is"><em id="ca4is"></em></s>
          <option id="ca4is"><cite id="ca4is"></cite></option>
        • 主站蜘蛛池模板: 香瓜七兄弟第二季| 东北女大战28公分黑人| 黄色网址免费观看| 欧美一区二区三区成人片在线| 国产高清视频网站| 亚洲精品无码精品mV在线观看| 亚洲成av人影片在线观看| 99re6免费视频| 色中色在线下载| 无码任你躁久久久久久| 国产一级黄色毛片| 亚洲二区在线视频| 一男一女的一级毛片| 精品国产乱码久久久久久1区2区 | 国产激情电影综合在线看| 亚洲伊人精品综合在合线| 青青操在线视频| 欧美亚洲国产成人综合在线| 国产精品99久久久久久猫咪| 伊人影院综合网| a在线视频免费观看| 武林高贵肥臀胖乳美妇| 国产精品爽爽ⅴa在线观看| 亚洲国产天堂久久综合| 欧美在线色视频| 最新亚洲人成网站在线观看| 国产在播放一区| 久久99精品国产一区二区三区| 国产精品va一级二级三级| 日韩一区二区三区电影在线观看| 国产亚洲欧美日韩俺去了| 中文字幕av一区乱码| 男女一级爽爽快视频| 国内精品在线播放| 亚洲成AV人综合在线观看| 精品丝袜国产自在线拍亚洲| 日本在线观看免费看片| 国产成人免费一区二区三区 | 99久久久国产精品免费蜜臀| 欧美成人性视频播放| 国产成人精品无码播放|