重慶分公司,新征程啟航
為企業提供網站建設、域名注冊、服務器等服務
為企業提供網站建設、域名注冊、服務器等服務
本篇內容介紹了“數據倉庫的基本功能是什么”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
創新互聯長期為數千家客戶提供的網站建設服務,團隊從業經驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯網生態環境。為桂陽企業提供專業的網站建設、網站制作,桂陽網站改版等技術服務。擁有十載豐富建站經驗和眾多成功案例,為您定制開發。
數據倉庫的基本功能包括:1、ETL設計,包括數據的抽取同步、數據清洗、數據轉換;2、數據分層,一般會劃分為ODS層、CM層、ML層;3、數據初步建模。
本教程操作環境:windows7系統、Dell G3電腦。
數據倉庫,英文名稱為Data Warehouse,可簡寫為DW或DWH。數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據支持的戰略集合。它是單個數據存儲,出于分析性報告和決策支持目的而創建。 為需要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。
數據倉庫的基本功能
ETL設計:數據的抽取同步、數據清洗、數據轉換。涉及關系型數據庫(MySQL、mariadb、oracle等),文檔型數據庫(MongoDB、elasticsearch等)。
數據分層:一般劃分為ODS層、CM層、ML層。ODS層表示未進行加工的數據。CM層表示清洗合并層的數據。
數據初步建模:對應數據分層ML層,一般采用關系模型(雪花模型)或星型模型,形成寬表對外提供數據支持。
涉及技術:HDFS、HIVE、HBASE、MR、SPARK、YARN等。
數據倉庫架構
下圖為工作中參考很多公司的數據架構規劃出的數據架構,僅供參考。
“數據倉庫的基本功能是什么”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注創新互聯網站,小編將為大家輸出更多高質量的實用文章!