推薦 Spark Architecture 的資料

講Spark的書,常見的都是教如何寫code,先教RDD,再講operation有兩種

解釋 Spark 內部架構的文章卻不太多

但是不懂架構我不安心

找了半天,覺得Alexey Grishchenko 的這篇講得最好懂

分享一下

他解釋RDD是抽象的資料集合,也是一個interface,讓寫Spark application更容易

覺得講得很好

讓我理解了Spark的設計概念

而 Transformation 就是延續 Mapper 的概念

Action 就是 Reducer 的動作

這樣想來就更清楚了解 Spark 在架構上接續 Hadoop 的地方了

 

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Google photo

您的留言將使用 Google 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s