u76kZ0HwayL
2018的IT熱詞有包括AI、Maching learning 、區塊鍊、物聯網等等,其實都與雲計算(Cloud Computing)有關聯。以物聯網為例,物聯網連結在各地的感應器,上傳資料,集中在一個平台做彙總,而雲計算就可以提供這樣的平台,提供服務。
什麼是雲計算?雲計算就是指透過網路(Internet),按需交付IT資源和應用程序,按使用量付費。
AWS是誰?1994貝佐斯成立Amazon,以書店起家,2006 Amazon推出了AWS(Amazon Web Service)公有雲服務,亞馬遜有許多發展歷史,從一開始賣書,延伸發展更種服務,包括電子書Kindle、Echo智能音響及其人工智能管家Alexa等等。
AWS的客戶,包括許多世界五百強,如Netflix、藍寶堅尼、Nokia等等,這些大型企業都將自己的服務放在AWS平台,以及公部門如NASA的圖像處理(15天的衛星影像處理AWS僅需兩天)等等。
使用AWS的原因?
- 創新,創新是亞馬遜的特色,每年推出許多新服務,到2018年,AWS提供了四千多種服務,用戶可以依自己的需求組合建立自己需要的服務與技術,擁有豐富的功能以及可靠的技術架構。
- AWS在世界各地有非常多可用區域,2019年前有18個區域,以及58個可用區(每個區域有兩到三個)。
一、AWS雲計算服務介紹
Amazon Elastic Compute Cloud(EC2)雲端虛擬機
- 可調節的計算容量(例如筆電處理能力不夠時就可以增加或是提供分佈的計算節點,多個地方來合作解決問題)。
- 完全掌控的計算資源。
- 將獲取並啟動新服務器實例所需的時間縮短至幾分鐘,安裝系統跟軟件本來要許多時間,但在雲中只需要兩三分鐘。
AWS實例類型
透過不同行業、需求,區分了許多實例類型
如計算優化型、圖形優化型如G3\P2等等,和需求使用,拉取實例類型來跑,非常有效率
Amazon系統映像
AMI就是系統映像的簡稱,是包含實例根卷的模板,像是部署在雲中的種子,包含操作系統、應用程序服務器和應用程序,實例啟動的時間等於服務啟動的時間,當虛擬器開通的時候已經做好服務的準備。
Amazo.com典型的一週訪問量如圖
為此構建一個計算環境
要配置的計算資源比高峰高一點就可以了
但十一月份的訪問量如下(black friday)
如果用最高峰來配置的話,會有很大的浪費
Auto Scaling就提供了彈性計算的解決方案
彈性三劍客
Elastic Load Balancing提供對外服務的發佈,背後有計算節點做服務,
Auto Scaling會依彈性“增加或減少”計算節點,
Cloud Watch監控計算機表現與狀況,有狀況時會觸發Auto Scaling。
雲中的計算框架
Auto Scaling計算資源,不夠就增加,沒用的就丟掉,服務器與計算資源不是唯一的存在,在雲端中可以靈活調取,壓力就會小很多。
為何用無服務器環境?AWS Lambda構建服務器環境
- 無需管理服務器
- 自動伸縮
- 高可用性
- 空閒無費用
AWS Lambda構建服務器環境
1.運行代碼而無需管理伺服器
2.只為代碼運行的時間付費
3.代碼不運行不收費
4.AWS服務都可以設置為觸發代碼的條件
5.可以直接從任何Web或移動應用程序調用
6.與AWS marketplace集成
AWS雲計算當中最重要的是什麼?數據!若數據丟了,就什麼都沒了
AWS的資料儲存在哪裡?
EBS\S3\EFS\Glacier\RDS\DynamoDB
這邊介紹Amazon Simple Storage Service(S3)- 簡單存取服務
1.提供對象及儲存程序
2.可以存取任意規模和數量
3.單個對象(一個文件)最大5TB
4.是2006發佈的第一個服務
5.數據以冗餘(redundant)方式儲存,冗餘就是把數據分散放到不同硬盤的概念
S3數據的儲存如下
1.創建儲存桶2.將任意數量的對象上傳到儲存桶
儲存桶會有區域代碼跟桶子的名字,而存在桶裡面的對象會有一個key,所以方便做檢索。
傳統的網站:將影像放在硬盤上,但有硬盤會壞的風險、頻繁的調取工作
AWS S3:影像就以S3形式,有冗餘可以防丟失,也節省計算資源
Demo 在S3上建立靜態網頁,參考影片:
http://www.xuetangx.com/courses/course-v1:AWS+awsomeday+2017_t1/courseware/74ee093047154a7097c0735101ee61ec/5c5dd6124f9f4a7cab1e23b39ece1850/
AWS數據傳輸:
如何讓數據產生更多價值?
數據飛輪:
數據需要很多的用戶來建立,更多的用戶帶來更多的數據,更多數據帶來更多用戶,包括點擊率、習慣、喜好等等。數據的分析,能否找到共性以及不同,像是商業智能BI等等。分析完成以後對產品進行優化以及推廣,如機器學習以及人工智慧。更好的產品,帶來更多的用戶。數據飛輪如圖所示。
什麼是大數據?
收集、儲存與分析並且分享這些海量的數據,將其生成為新的產品或功用。
大數據的使用場景:
1.低延遲數據服務(廣告與遊戲作用的分析)
2.社交元素(推送、遊戲等等)
3.日誌文件(網站、遊戲或廣告,社群與品牌的關係等等)
4.情緒分析
5.推薦和個性化引擎
AWS的大數據分析上傳到S3,構建EMR,存在Redshift,細化的分析..
詳細在別門課程有教學
案例
yelp使用S3儲存每天產生的日誌以及圖片,約1.2TB每日,每天運行約250個EMR job, 處理30+TB數據。
現代數據的架構模型
要提高業務洞察力,要做轉型,就可以用數據架構模型,上傳數據,分別交給不同組件,建立EMR並且分析與分享等。
如圖:
人工智能與機器學習
人工智能:
強AI:像科幻片當中,可以像人一樣思考的機器人
弱AI:特殊的運用、專業於某個方面,像是下棋的機器
機器學習:
弱AI的一種方法,用數據集訓練模型,根據數據做一個預測
深度學習:
機器學習的一種方法(Method)
AWS上面構建的智能應用流程圖
數據透過Kinesis儲存,然後透過Lambda函數來操作處理,處理好的資料放到機器學習的組件裡面,再以SNS的形式發送到客戶的短信上等等。圖如下:
Rekognition圖像組件
分析面部、場景分系、面部識別、圖像監控等等
Demo 一分鐘建立圖像識別Rekognition,參考影片:
http://www.xuetangx.com/courses/course-v1:AWS+awsomeday+2017_t1/courseware/74ee093047154a7097c0735101ee61ec/9fc0024997c14d65ae82cbbcccbca6ad/