Kafka 壞了？ 談 Salesforce CDC (Change Data Capture) 壞掉的原因、預防與補救

我們有一個下游系統透過 kafka 的機制在即時 sync Salesforce 的 oportunity。 某一天，運作地好好的 integration 突然壞了，下游突然收不到資料了。

sync 失敗可能原因

以我們 Salesforce Enterprise Edition的方案為例， 每 24 小時的 event 上限為 25,000。以日常正常用量來說大致夠用。

但若有人一次更新大批資料，則有超量風險。一但超量，subscriber 將收到 error: 403::Organization total events daily limit exceeded，event 將無法送至 kafka。

 

Event Usage 可由此查看：

SELECT EndDate,Name,StartDate,Value FROM PlatformEventUsageMetric WHERE EndDate = last_n_days:60 ORDER BY EndDate DESC NULLS FIRST


查詢過去一天有多少 opportunity 遭到 update/create:
workbench query:

SELECT Id,LastModifiedById,LastModifiedDate,Name,OwnerId FROM Opportunity WHERE LastModifiedDate = last_n_days:2 ORDER BY LastModifiedDate DESC NULLS FIRST

如何減少失敗的影響

事前預防

提醒系統管理員，不得突發性大規模更新 opportunity。
若需大規模更新，建議

  • 分成小批量，在不同時間點更新。

  • 排定在週末非工作日更新

  • 更新後密切監控 kafka 運行狀況

    • Grafana Kafka Overview

    • k8s / k9s

事中監測

建立自動監控機制，一旦發生超量風險，立刻發通知給 Salesforce 系統管理員

事後修補

手動執行 produce event job。

且需反覆手動執行，直至過去 24 小時內之 usage 回穩。

 

 

參考資料

留言

張貼留言

這個網誌中的熱門文章

Salesforce證照考試心得 (Administrator and Advanced Administrator)

圖片
 # Salesforce考照心得 在Salesforce這個平台打滾了四年有餘，我終於動身去拿了第一張證照了。 當然，就像機車駕照一樣。有駕照的人並不一定真的懂得如何騎車。 擁有Salesforce證照也無法證明自己真的具備相應的能力。 他唯一能夠證明的是，我有意願及資源去支付200美金來把這個證照掛在身上。 在網路上，Salesforce的正體中文相關討論是稀缺的。 可能一來是因為台灣採用Salesforce的公司並不是極多，二來是相關從業人士都極為忙碌。 至少我放眼所及、熟稔Salesforce的台灣人們，沒有一個不是事業蒸蒸日上、生活風風光光，各有各的精采人生。 誰有那種閒時間在那邊跟你討論證照要怎麼考XD 「這種簡單資訊不是自己查一查就知道了嗎，如果連這種基本能力都沒有，那也不要考什麼證照了，包袱收一收去鄉下種苦瓜好了。」 話當然不是這樣說的。 所以我希望留下一些簡單的心得與歷程記錄，盼使來人少走一點點冤枉路。 如果有訛誤或是過時的資訊，歡迎留言或Email給我，謝謝！ ## 準備考試所需時間 四年/兩天/一小時？ 要拿到這張Salesforce Administrator證照，到底需要多久呢？ 保守一點說，我花了四年把Salesforce這個系統裡裡外外摸了個半透，大部份的功能都真的親手實際操作過，才敢應試。 技術上來說，大概花個兩天刷個300題考古題，就足以應試了。 偏激一點來說，從走進考場起算，報到完坐下來把幾十道題目回答完後瀟灑起身離去，從頭到尾不到一小時就可以取得證照了哦。  ## 正規準備方式 其實只怕你不學，不怕沒工具沒材料讓你學。 考試要具備的知識，都清清楚楚地寫在這裡了： https://trailhead.salesforce.com/credentials/administrator 就紮紮實實地把Trailhead的badge蒐集起來吧。 與其只想著要拿到證照，不如真的把握機會把這些知識技能學起來吧。 ## 報名考試 Salesforce是跟KRYTERION Webassessor合作的，諸如報名、繳費、考試，都是在這個網站上進行。 https://www.webassessor.com/salesforce 所以第一步就是得註冊一個Webassessor的帳號。(這個帳號跟Salesforce的是獨立的) 註冊...
Read more »

ISC2 CC (Certified in Cybersecurity Certification) 考試心得

前言 我大概花兩個下午把 ISC2 的官方課程看一看就去考了。 官方課程的單元共有五章，我只來得及看完前三章。而後來實際應考的時候，差不多就是每五題裡面我也就只會三題😆 屬於有看就會，沒看就猜的簡單考試。 基本上我覺得這個考試題目並不難，唸書方式也沒什麼特異，所以這篇文會講一些其它的考試注意事項。 這個證照是給誰考的？ 我感覺這些內容是設計給大學生或是剛出社會的初階新手的。讓你對於「什麼是資安」有一個基本的感覺。 考試流程 我的考試地點就在台北市政府捷運站旁，台北市信義區基隆路一段163號12樓-3 聯合世紀大樓。交通非常方便。 上到12樓直接推門進入來到櫃台。 注意，進此門之後就不能再看書或其它應考的材料了。 我原本報名時是選下午三點的時段，不過我兩點出頭提早到了，也是可以直接隨到隨考。感覺是只要有空位就可以讓你考。 驗證身份時要提出雙證件。 我當天有準備了護照，但是後來只拿出了身份證和健保卡而已。據說有簽名的信用卡也可以當作證件之一。 驗證身份的同時要採集掌紋，左右手都要。然後會給你一個置物櫃鑰匙。 手機要關機收好、手錶要除下，口袋內不能有東西，如果有水的話要放到專門的置水區。但身份證要拿著，待會進考場之前還要再驗一次。 放好背包、鎖上置物櫃後，此時可以先上個廁所。 轉進內室就會看到考場了。 有別於我之前考 Salesforce 證照時一人被關在一小間房間的經驗，這裡的考場是多人在同一大間，電腦座位之間用隔板隔開。 現場有提供耳塞和耳罩，以免考生互相干擾。 進場前會口頭詢問身份，並再驗一次身份證，再掃一次掌紋。監考員就會給你一面手寫板以及一支筆，引你入場坐下。 考題 共 100 題，四選一單選題。 我選的是中文版的考題，不過每一題都還是可以查看英文原文。這個蠻有幫助的。 考題的中文翻譯看起來還是有比較嚴謹的，我沒看出任何不適當的翻譯。不像線上課程教材的翻譯都亂翻。 線上課程 ISC2 提供的 CC 線上課程也有簡體中文和英文可以選。我不客氣地老實說一句，中文版教材的翻譯超爛。 完全看得出是機器翻譯自動亂翻，而且未經人工校對。我在看課程的時候，多次都有衝動想要寄信給 ISC2 請他雇用我來協助翻釋。 課程翻譯翻得好，可以增進學習效率，節省千千萬萬個學生的寶貴時間。 課程翻譯不用心，真的就是在誤人子弟了。 而且品質這麼差的翻譯，也讓人對 ISC2 這個組織的形象大...
Read more »