一個上線半年沒人點的匯出按鈕,被新同事點了一下,整台服務就沒了
一個平常沒人碰的按鈕 那天下午我在改一支結帳的 bug,Slack 突然開始跳訊息:後台有幾支平常穩如老狗的 API 開始噴 502,接著監控告警一路串上來,某台機器的服務直接從監控圖上消失了一段。我…
繼續閱讀 →一個平常沒人碰的按鈕 那天下午我在改一支結帳的 bug,Slack 突然開始跳訊息:後台有幾支平常穩如老狗的 API 開始噴 502,接著監控告警一路串上來,某台機器的服務直接從監控圖上消失了一段。我…
繼續閱讀 →財務同事那句「這批獎金怎麼發了兩次?」 那天下午財務同事拿著一張報表走到我旁邊,語氣還算客氣,但眼神已經在問罪:「這個月的推薦獎金,怎麼有一批人拿了兩次?金額對不上,差了快六位數。」 我第一反應是:不…
繼續閱讀 →那三秒,我們自己把它變成半小時 事故那天下午,我們的訂單服務所依賴的一個內部帳務 API,因為背後資料庫做了一次主從切換,短暫不可用了大概三秒。三秒,這種等級的抖動其實每個月都會發生幾次,正常來說沒人…
繼續閱讀 →凌晨三點的連環告警 那天凌晨三點十七分,我的手機開始震個不停。不是一則告警,是一整排:API 5xx 飆到 40%、下單服務健康檢查失敗、資料庫連線逾時、對帳批次 job 掛掉。Slack 的 onc…
繼續閱讀 →三秒後告警就開始響 那天下午的需求小到不能再小:訂單表要多一個 settledat 欄位,記錄清算完成的時間。我在本機測過,在 staging 也跑過,ALTER TABLE orders ADD C…
繼續閱讀 →那天早上我盯著一條一路往上的 lag 曲線 那是一個很普通的週二早上,我泡好咖啡打開 Grafana,看到訂單通知服務的 consumer lag 從平常穩定的幾百,一路爬到十幾萬,而且還在往上。與此…
繼續閱讀 →那天早上,DB 的告警比鬧鐘還早響 我做的是一個後台訂單管理系統,其中有一頁是「訂單列表」,一頁 50 筆,帶著客戶名稱、負責業務、最近一筆付款狀態這些欄位。開發時我在本機測,順到我還很得意——點下去…
繼續閱讀 →半夜三點,服務整個消失,但沒有任何一個請求對得上 那天凌晨的告警是「服務不可用」,不是「錯誤率上升」。這兩件事的差別,做過線上的人都懂。錯誤率上升,代表某些請求爛掉,但服務還活著;服務不可用,代表整台…
繼續閱讀 →半夜三點,那個每隔四小時就掛掉的服務 那陣子我過得很痛苦。我們有一個負責串接下游風控服務的 Go 服務,白天上線都好好的,可是每隔三到四個小時,它就會突然開始大量拒絕連線,健康檢查掛掉,然後被 orc…
繼續閱讀 →Tech Hub 由台灣的後端工程師 Leo Wu 經營。我做過加密貨幣/證券交易所的撮合引擎與訂單系統、整合過多家金流(冪等、對帳、Webhook)、也建過後台管理系統與高併發的活動搶購網站,並以 .NET Core 搭配 Vue 做全端開發。
這個站的目標是「深度勝過數量」:文章少而精,每篇都源自正式環境的真實取捨與失敗經驗。 關於