本課程將學習Spark In-Memory巨量資料關鍵技術以及串流資料(Streaming)相關處理技術,以及如何利用開源軟體Hortonworks快速建置巨量資料管理與儲存叢集,並學習如何佈署Spark軟體元件。課程將利用此平台進行開發,藉由實際案例操作,讓學員能夠了解Spark核心技術、Spark Streaming、Kafka等操作方式以及巨量資料應用程式實際開發與效能調教。最後將透過實際分組演練真實數據,了解巨量資料處理時會面臨的狀況,透過資料探索的過程,彼此分享學習,並激盪出不同的問題解決方案。
資策會「Spark Streaming巨量資料串流分析實務」將於2016年7月23日開辦,相關資訊請參閱課程網頁,或電(02)6631-6533,黃小姐。
課程大綱:
1.巨量資料分析叢集架設
1.1 Linux、HDFS 基礎指令回顧
1.2 Hortonworks巨量資料分析叢集安裝
1.3 Spark 軟體元件安裝
2.Spark 基礎核心技術介紹與實作
2.1 Spark開發環境建置/運行模式介紹
2.2 Spark 互動式Shell使用介紹
2.3 RDD API 介紹與操作
2.4 Spark相關最佳化技巧
3.資料流獲取
3.1 網頁資料擷取
3.2 Socket 之感測器訊號流擷取
3.3 Twitter、Facebook 資料流獲取
4.Spark Streaming 技術實作
4.1 Spark Streaming API介紹
4.2 Socket 通訊模組介紹與介紹
4.3 Kafka 訊息系統介紹與實作
4.4 Spark Streaming與相關組件界接
5.分組實戰演練
詳細內容請參考課程網址:http://www.iiiedu.org.tw/ites/SST.htm
資策會「Spark Streaming巨量資料串流分析實務」(台北7/30)
避免法律糾紛,轉載本區文稿請先徵得原作者同意!
文章回應
目前尚無回應,成為第一個回應的人吧!
回應本篇文章!
(以下回應不會連結到FaceBook)(言責自負,請勿涉及人身攻擊,以免挨告!)
尚未 登入會員 ,無法回應!