聚焦數據管治，快手舉辦數據管治技術交流會

最近，快手大數據團隊聯合「快手中學」，舉辦「快手數據管治技術交流會」，各行業數據相幹開發者報名參與。快手是短視訊行業開創者與引領者，致力於成為全球最癡迷於為客戶創造價值的公司，幫助人們發現所需、發揮所長，持續用有溫度的科技提升每個人獨特的幸福感。

在海量的 UGC 數據、業務數據、用戶數據背後，支撐快手數據業務的快手大數據平臺，秉承「以領先的大數據技術，激活數據價值，賦能業務，打造快手核心競爭力」的使命。

日處理數據集群規模超過 3W，數據量超過 3EB，日入數據量超 5PB，例行任務數超 30W。今年9月，快手曾圍繞「數據架構」這一主題舉辦了「快手大數據平臺架構技術交流會」。本次交流則聚焦「數據管治」主題，明年將繼續開展更多數據領域相幹主題活動，歡迎在快手APP搜索並關註「快手大數據」官方帳號獲取活動資訊。

（▲出品人介紹）

（▲快手數據工廠團隊負責人 董西成）

首先由快手數據工廠團隊負責人董西成帶來開場致辭。他介紹，快手在數據管治領域涉及的方面非常廣泛，包括數據規范、資源控制、集成交換、數據建模等，為了推進數據管治，需要在技術產品、規范流程、組織等方面進行考慮。

（▲快手數據管治體系）

本次交流從數據管治的標準規范、資源管控、數據質量和數據服務四個方面展開分享，由來自快手的數據研發專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個主題演講。

孫偉介紹了快手在數據中臺化過程中由於模型不規范帶來的數據孤島、指標不一致、模型質量差等一系列問題，並針對這些問題結合元數據驅動的思路制定了治理方案，從元數據驅動問題的發現再到治理優化，最終實現數據模型的規范化。

從快手 EB 級數據量下對於存儲成本管理所遇到的涉及面廣、成本意識弱、缺乏有效方法等問題出發，程偉站在成本分析的角度，制定相應的存儲成本控制策略，並以專項數據治理和自驅式數據管理相結合的方式去推進落地，從而達到存儲成本管理的目的。

楊釗分享了快手的數據保障理念，並通過體系化的方式，保障數據完整、準確、一致、及時。基於上述保障體系，詳細介紹了快手在直播場景通過需求流程管理、測試、質檢、應急方案等保障策略，以及這些保障策略在直播事前、事中、事後具體的執行手段，如雙鏈路設計、壓力測試、應急方案制定等，保障了在數據量巨大，指標計算龐雜等困難情況下，依然能夠保障整個數據產品的產出及時，數據準確。

當談到元數據平臺和相幹應用在快手的發展過程、現狀及當前快手元數據平臺的架構時，薛言分析了面對數十種的資產、過億的實體規模的異構元數據，是如何進行抽象及管理的。並通過找數、全鏈路血緣、數據治理平臺等幾個主要的應用場景，展示了元數據在快手大數據平臺中發揮的作用和價值。

劉一凡介紹了快手在數據中臺化建設過程中，在指標領域建設所面臨的缺乏流程、規范引起的口徑不一致、反覆梳理重構、缺乏統一服務引起的數據出口不一致等問題。並針對上述問題分享了流程、規范、組織以及系統方面的整體解決思路，重點闡述了 OneMetric 以及 OneService 兩個核心系統模塊的系統設計及其關鍵技術。

（▲演講嘉賓合影：從左至右，分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡）

本次交流採取線下線上結合的參會方式。線下開放了部分參會名額，所有現場觀眾需佩戴口罩，確保測溫和健康寶狀態正常，在簽署健康聲明後方可入場，入會就座時也均保持了一定間隔。此外，交流全程還通過「快手 APP」直播，觀看總人數超3萬人。

（▲現場簽到）

快手以技術為核心競爭力，十分重視技術創新和應用，同時也希望通過更多更廣泛的技術交流，和業內開發者分享經驗，碰撞出更多智慧火花，推進技術不斷前進。「快手中學」作為內部專業人才培養平臺，旨在通過提供豐富多樣的專業課堂培訓、比賽、技術交流，助力人才成長，提升專業能力和專業影響力。

2020年「快手中學」聯合快手技術團隊共舉辦了四場技術交流活動，內容涉及移動端、前端、數據平臺架構及數據管治。未來，由「快手中學」舉辦的技術交流還將以每季度一次的頻次長期開展。