GCP Cert Bootcamp Live

Posted by Tim Lin on 2019-08-29

GCP Cert Bootcamp Live

這是今天參加 GCP Cert Bootcamp 的一些筆記,呼~目標要在今年年底取得 GCP Pro Cloud Architect Engineer 的認證

認證準備方式

Associate 的準備方式

Pro 的準備方式

…我目前還在上 coursera 的課,全英文有字幕,但我真的覺得不容易啊…有六門課要上完,課程中間都有考試也有 lab 實機操作,需要蠻多時間看的,而且課上完,還不大夠,還要上 Qwiklabs 做很多 lab

data store

這張圖我覺得很棒! 清楚的解說了各 GCP 各 data store 的功能

data pipeline

Case Study

今天有兩個 case study

TerramEarth

https://cloud.google.com/certification/guides/cloud-architect/casestudy-terramearth-rev2

背景介紹

TerramEarth 是一家生產採礦和農業機具的公司,這家公司有超過 500 個交易商和服務中心在100個國家

有 2千萬的 TerramEarth 車輛,每秒收集具有120個欄位的資料,目前資料儲存在車體本身,只有在車輛被服務的時候這些資料才能被分析。資料透過一個 維護 port 下載,這個 port 同樣被用在調整一些參數,讓車輛更新新的 computing modules 使用。

大約有 200,000 的車輛連到一個 cellular network,讓公司直接收集 data。 從這些車輛,TerramEarth 一天收集了 9 TB 的資料(用每秒120個資料欄位,一天22小時的速度傳輸)

TerramEarth 目前架構由 Linux and Windows-based 組成, 機房位於 U.S 西岸 data center(只有一個)。
這些系統的 gzip CSV 經由 FTP 上傳後,放到 data warehouse。

因為傳輸耗時,彙總報表是前3周的資料

有這些資料 TerramEarth 可以準備預備的 更換材料,降低 60% 的非預期車輛保養期(unplanned vehicle downtime),有些車主不用等超過 4 周就可以得到要更換的零件。

業務需求

  • Decrease unplanned vehicle downtime to less than one week (車輛保養期縮短到一周內)

  • Support the dealer network with more data on how their customers use their equipment to better position new products and services(提供更多資料給交易商,供顧客方便)

  • Have the ability to partner with different companies—especially with seed and fertilizer suppliers in the fast-growing agricultural business—to create compelling joint offerings for their customers(這有點虛幻XD)

技術需求

  • Expand beyond a single data center to decrease latency to the American Midwest and East Coast(擴大 data center 服務範圍,從原本美西涵蓋到美東)
  • Create a backup strategy (備份機制)
  • Increase security of data transfer from equipment to the data center (安全資料傳輸)
  • Improve data in the data warehouse
  • Use customer and equipment data to anticipate customer needs (BI 分析)

Data ingest & Reporting

直接看原文


Mountkirk Games

https://cloud.google.com/certification/guides/cloud-architect/casestudy-mountkirkgames-rev2

背景

Mountkirk 是一個新的 makes online, session-based, 多人手機遊戲. 因為太受歡迎,所以在擴展全球玩家和 AP server,MySQL db和一些分析工具上產生了問題。

目前方式是把遊戲數據寫到檔案,並且透過 ETL 工具轉檔到MySQL database 在產生報表。

所以目前想要把後端改成 streaming metrics 的方式去做大量的資料分析,並且改成可以自由擴展的 server環境和 NoSQL的資料儲存方式

業務需求

  • Increase to a global footprint
  • Improve uptime—downtime is loss of players (減少停機時間)
  • Increase efficiency of the cloud resources we use
  • Reduce latency to all customers (減少玩家的使用延遲)

技術需求

Requirements for game backend platform

  • Dynamically scale up or down based on game activity
  • Connect to a transactional database service to manage user profiles and game state
  • Store game activity in a timeseries database service for future analysis
  • As the system scales, ensure that data is not lost due to processing backlogs (系統擴展時,確保資料不會遺失)
  • Run hardened Linux distro

Requirements for game analytics platform

  • Dynamically scale up or down based on game activity
  • Process incoming data on the fly directly from the game servers
  • Process data that arrives late because of slow mobile networks
  • Allow queries to access at least 10 TB of historical data
  • Process files that are regularly uploaded by users’ mobile devices

看完落落長的案例後就是 20 題的題目,有些沒聽很清楚…之後再慢慢消化好了 orz

Questions & Answers

17 因為只給 security tean 看

關鍵要提高 throughtput

心得

其實參加這樣的直播還蠻有趣的…,可以在枯燥的 coursera 課程之餘平衡一下,一方面因為題目都有限時,要在限時內把英文題目看懂看完…,真的需要多練一下呢,在慢慢加油!