GCP Cert Bootcamp Live
這是今天參加 GCP Cert Bootcamp 的一些筆記,呼~目標要在今年年底取得 GCP Pro Cloud Architect Engineer 的認證
認證準備方式
Associate 的準備方式
Pro 的準備方式
…我目前還在上 coursera 的課,全英文有字幕,但我真的覺得不容易啊…有六門課要上完,課程中間都有考試也有 lab 實機操作,需要蠻多時間看的,而且課上完,還不大夠,還要上 Qwiklabs 做很多 lab
data store
這張圖我覺得很棒! 清楚的解說了各 GCP 各 data store 的功能
data pipeline
Case Study
今天有兩個 case study
TerramEarth
https://cloud.google.com/certification/guides/cloud-architect/casestudy-terramearth-rev2
背景介紹
TerramEarth 是一家生產採礦和農業機具的公司,這家公司有超過 500 個交易商和服務中心在100個國家
有 2千萬的 TerramEarth 車輛,每秒收集具有120個欄位的資料,目前資料儲存在車體本身,只有在車輛被服務的時候這些資料才能被分析。資料透過一個 維護 port 下載,這個 port 同樣被用在調整一些參數,讓車輛更新新的 computing modules 使用。
大約有 200,000 的車輛連到一個 cellular network,讓公司直接收集 data。 從這些車輛,TerramEarth 一天收集了 9 TB 的資料(用每秒120個資料欄位,一天22小時的速度傳輸)
TerramEarth 目前架構由 Linux and Windows-based 組成, 機房位於 U.S 西岸 data center(只有一個)。
這些系統的 gzip CSV 經由 FTP 上傳後,放到 data warehouse。
因為傳輸耗時,彙總報表是前3周的資料
有這些資料 TerramEarth 可以準備預備的 更換材料,降低 60% 的非預期車輛保養期(unplanned vehicle downtime),有些車主不用等超過 4 周就可以得到要更換的零件。
業務需求
-
Decrease unplanned vehicle downtime to less than one week (車輛保養期縮短到一周內)
-
Support the dealer network with more data on how their customers use their equipment to better position new products and services(提供更多資料給交易商,供顧客方便)
-
Have the ability to partner with different companies—especially with seed and fertilizer suppliers in the fast-growing agricultural business—to create compelling joint offerings for their customers(這有點虛幻XD)
技術需求
- Expand beyond a single data center to decrease latency to the American Midwest and East Coast(擴大 data center 服務範圍,從原本美西涵蓋到美東)
- Create a backup strategy (備份機制)
- Increase security of data transfer from equipment to the data center (安全資料傳輸)
- Improve data in the data warehouse
- Use customer and equipment data to anticipate customer needs (BI 分析)
Data ingest & Reporting
直接看原文
Mountkirk Games
https://cloud.google.com/certification/guides/cloud-architect/casestudy-mountkirkgames-rev2
背景
Mountkirk 是一個新的 makes online, session-based, 多人手機遊戲. 因為太受歡迎,所以在擴展全球玩家和 AP server,MySQL db和一些分析工具上產生了問題。
目前方式是把遊戲數據寫到檔案,並且透過 ETL 工具轉檔到MySQL database 在產生報表。
所以目前想要把後端改成 streaming metrics 的方式去做大量的資料分析,並且改成可以自由擴展的 server環境和 NoSQL的資料儲存方式
業務需求
- Increase to a global footprint
- Improve uptime—downtime is loss of players (減少停機時間)
- Increase efficiency of the cloud resources we use
- Reduce latency to all customers (減少玩家的使用延遲)
技術需求
Requirements for game backend platform
- Dynamically scale up or down based on game activity
- Connect to a transactional database service to manage user profiles and game state
- Store game activity in a timeseries database service for future analysis
- As the system scales, ensure that data is not lost due to processing backlogs (系統擴展時,確保資料不會遺失)
- Run hardened Linux distro
Requirements for game analytics platform
- Dynamically scale up or down based on game activity
- Process incoming data on the fly directly from the game servers
- Process data that arrives late because of slow mobile networks
- Allow queries to access at least 10 TB of historical data
- Process files that are regularly uploaded by users’ mobile devices
看完落落長的案例後就是 20 題的題目,有些沒聽很清楚…之後再慢慢消化好了 orz
Questions & Answers
17 因為只給 security tean 看
關鍵要提高 throughtput
心得
其實參加這樣的直播還蠻有趣的…,可以在枯燥的 coursera 課程之餘平衡一下,一方面因為題目都有限時,要在限時內把英文題目看懂看完…,真的需要多練一下呢,在慢慢加油!