一份大數據學習寶典，值得收藏！
來源：北大青鳥總部
2020年09月27日 14:56
摘要：
一份大數據學習寶典，值得收藏！
在大數據學習中，我們可以分為數據采集、數據傳輸、數據存儲、數據處理、數據治理五大板塊的學習。
在數據采集這個板塊，可分為從哪里采集數據、以什么規則采集。互聯網時代的帶來給我們帶來了多種數據格式類型的數據，包含結構化數據、半結構化數據、非結構化數據，數據采集的來源有系統日志、網絡數據、傳感器。系統日志的采集主要是通過瀏覽器、app、服務端進行埋點獲取，比如用戶訪問點擊數據、接口調用數據等，網絡數據主要是通過爬蟲等技術從網站進行獲取。設備數據主要是通過傳感器等從物理設備上進行采集。
在數據采集方確認后了之后，接下來的問題就是以什么規則分配數據存儲、數據采集。數據量的暴增已經無法把PB級別的數據直接存儲在單機系統里了，以分布式模式來存儲數據是必須的，通過hash分片方式可以把數據分配到不同的機器中，再配合路由機制，就可以快速找到某一臺機器上的某條記錄。在數據的取舍上，可根據分布式的CAP/ACD/BASE原則來決定，在數據的更新上可采用主從式更新、各個機器節點同步更新、任一個節點更新的策略來處理數據。
在數據傳輸方面，一般有消息隊列、數據同步等方式可以將采集的數據傳輸到存儲通道。消息隊列應該是現在互聯網企業最常用的手段了，通過Kafka、RabbitMQ等消息隊列，將服務之間解耦，生產者負責數據的生產，消費者按需訂閱數據進行消費和業務處理。數據同步一般應用在數倉中，在各類數據源中將沒有進行過任何加工的數據傳遞到數據倉庫中。
在數據采集、傳輸之后，便是數據的存儲了。存儲方面一般有物理存儲、分布式對象存儲、大數據庫存儲等模式。物理存儲定義是數據存儲在磁盤上。存儲類型方面支持文件存儲、塊存儲、對象存儲。分布式存儲主要是提供多存儲節點來實現海量數據的存儲和方面，支持高可用、高性能、高伸縮性。大數據庫存儲主要是針對特定類型或離線分析使用，比如clickhouse、hbase、elasticsearch等大數據庫直接統計分析使用，mongodb等文檔數據庫主要是存儲半結構化數據。
在數據處理方面，主要使用流式計算、大規模批量計算等方式將數據進行加工處理，賦能業務。在實時處理方面，一般是使用flink、spark、storm等流式計算方式來對數據實時處理。大規模批量計算主要就是離線分析了，通過mapreduce、hive等離線計算方式來對數據進行加工處理，適合數據實時性要求不高的業務。
經過了數據采集、傳輸、存儲、處理階段后，數據產生了它的價值，可以更好的用于業務決策、運營分析。但是隨著數據量的越來越大、業務的越來越復雜，對于數據的治理是勢在必行。數據治理包括元數據管理、數據質量把控、數據安全三方面。元數據一般是指數據與數據之間的關聯信息，通過生命周期管理、業務屬性管理可以讓管理員更好的做系統維護管理。在數據質量上主要通過一些流程上的質量管理控制體系進行把控，在數據安全方面主要從數據采集安全、數據傳輸安全、存儲安全、應用安全等幾方面去把控，企業在掌握了更多的用戶信息之后更應該做好安全方面的管控。
對海量數據的存儲、計算、分析、治理除了上面介紹的專業內容之外，還需要掌握分布式技術、高并發處理、高可用處理、集群、實時計算，需要了解微服務架構、云計算、云原生、物聯網、5G等概念。
手機端官網
京公網安備 11010802020714號