奇安信戰“疫”日記七 張文武:用大數據分析疫情,把大海撈針變為按圖索驥

2020-04-06 19:13:08  阅读 272165 次 评论 0 条

中新網2月9日電 我的2020年春節開始於1月24日大年三十,那天很暖和,屋子裏的幹枝梅都開了。但是結束也是在那天,此後就是㬥。

大年三十(1月24日):接到戰疫任務

那天下午3點多,我在客戶群裏看到了一則消息,“我們這裏有大量的疫情盷ŗ數據,但是卻不清頭緒,無從下手,急需要數據分析模型。” 客戶雖然沒有直接向我們提要求,但是,想到客戶目前一定是有數據支撐需求了,隻在大年三十期間不方便直接要求;另外我們平時也是數據處的數據分析的主力單位之一,關鍵時刻要讓客戶覺得奇安信靠得住。於是我主動跟客戶取得了聯係,獲得了參與客戶方支援會議的機會。跟領導簡短彙報商量後,我馬上預訂了大年初一的機票,從烏魯木齊飛往上海。

第二天,我從石河子出發了。當時,新疆的部分路段已經開始管製,我開了4個小時才趕到烏魯木齊機場。父母非Ů不舍,執意一路同行。進了安檢口,我看見他們還一直站在原地不願離開。上了飛機,空姐給乘客發了很多有過年氣氛的巧克力和小零食,但因為擔心有感染病毒的風險,別還沒打仗自己先倒下了,我就硬撐著,一直沒敢摘掉口罩吃一口東西喝一口水。下了飛機,等了近一個小時才坐上出租車,雙腿都凍僵了。

出發前我聯係了數據團隊的陳海燕,請她一起加入。她原本一年才能回兩天家,接到消息後二話沒說,大年初一淩晨4點便從山西出發,驅車14個小時返回了上海客戶現場,與我彙合。幾天後,張露趕到。她當時在安徽老家,疫情來的太突然,家裏沒有口罩,我緊急給她寄送了一些,她才得以出發,從安徽老家先到北¶,再從北¶轉到了上海。

1月26日大年初二,第1個大數據疫情分析分隊-上海分隊成立,我任隊長,馬俊茂負責帶領數據團隊支援,楊占春負責帶領研發團隊支援。

大年初四(1月28日):指揮部成立

隨著疫情的快速蔓屯,奇安信大數據與態勢感知公号ř續收到了某部委及全國多個省市的下屬機關的緊急支援需求。該部委作為此次疫情防控的重要支撐單位,臨非Ů艱巨的數據分析任務,因此,第一時間向奇安信集團發出了數據分析建模的支撐請求,希望利用大數據技術分析轄區內的疫情擴散情況,為精準防控提供數據支撐。

疫情就是命令。1月28日,大數據疫情分析指揮部成立,奇安信副總裁、大數據與態勢感知公司總裁李虎博士擔任總指揮。

虎博是公司出了名的拚命三郎,但聽說他這次的出征,還有些小故事。疫情發生前,妻子帶著女兒陪同嶽父嶽母在海口某小鎮旅行。因為疫情,虎博原計劃在成都陪父母過完初二就返回北¶,但遠在海口的女兒卻好幾天持續高燒39度不退,孩子的症狀雖然也是幹咳,高燒,但憑經驗和分析可以排除是新冠狀病毒感染,而當地已經買不到合適的藥,女兒隻能靠物理降溫。無奈之下,大年初三,虎博隻能從成都買藥送去口,而此刻是疫情蔓屯的危險期,坐飛機等也容易攜帶病毒增加孩子染病的危險性。所幸一切安然,女兒吃了從成都帶來的藥後很快退燒。孩子一退燒,初四晚上,虎博士趕緊飛北¶,就在海口機場候機的時候,妻子發來孩子全身突發大積紅疹的照片,此刻的虎博也是非Ů糾結。詢問情況初步判斷是頭孢過敏、孩子應無大礙之後,虎博士依然登趕赴北¶戰場。

大年初五(1月30日):戰疫全打響

眾所周知,疫情發生以後有幾百萬人從武流向全國各地,有坐火車的、有坐飛機的還有自駕的,這些都有可能是潛在的病毒傳播者。他們什麼時候都ぎ哪些地方、接觷Ł那些人,如此龐雜、海量的數據,一線的數據分析師需要從中抽絲剝繭,難度可而知的。奇安信本身是一家安全公司,在感知網絡安全態勢斻無出其右,在大數據智能建模與分析實戰斻,也耕耘了多年,研製了天工大數據智能建模平台,積累了很多實戰技術經驗和人才隊伍。但對疫情大數據分析而言,雖有盷ŀ之處,卻也是一個新課題。

對全新的需求,時間緊且任務重,疫情期間正值春節放假,現有人手嚴重不夠。總指揮虎博士果斷決定在子公司內部招募誌願者,奔赴一線或提供二線支持。這個號召立即得到了公司內部的熱烈響應,短短5個小時,一支51人的誌願者團隊就成立了,虎博士擔任總指揮,其中一線團隊由馬俊茂統籌指揮、乜劍鋒擔任術總師,二線團隊由吳勇義統籌指揮。

北¶的“㬥”很快打響,數據團隊的李猛率先ご,在大部隊ご前,先期開展工作,把平ヨ署、數據準備的工作先開展起來,並開始進行數據分析。

乜劍峰在大年初五一早接㜀要去北¶客戶現場開會的通知。已囤好了食材宅在家多天,一直叮囑家人盡量不要出門的他,第一反應就是戴上口罩直奔客戶現場。同時,城市另一頭趕來的李學在也火速趕到,並肩㬥。

王吉華也在大年初五參加了另一北¶客戶的緊急會議。她是五歲孩子的媽媽,家中老人們身體又不好,自己平Ů出差也很多,但接〚知吉華第一反應是:目前人員緊缺,能出一把力的就出一把,讓這肆虐的疫情盡快過去。對家人的擔心,吉華向家人保證,一定好好保護自己,毅然返崗複工。會議中,客戶表示疫情嚴重,北¶是防控重點,要在全開工之前控製疫情,請奇安信立即協助做數據分析支持。重中之重刻不容緩,虎博衝到了北¶一線,全指揮,確保效果和進度。毛軍、甘俊華、秘焰、李猛也相繼也加入了這場“北¶保衛戰”。

虎博連日駐紮在北¶一線,工作間隙抓緊和病中的小女兒視頻通了一小會兒話

距離北¶幾千公裏外,順豐快遞也不能準點ご的期間,在西寧帶孩子(1歲半)的馬俊茂準點快遞了自己。大年初六乘坐早7點的火車奔赴一線(蘭州)投入工作。當晚12點,完成第一階段數據分析任務並轉給後續一線同事接手,他又搭乘次日早7點飛機趕往北¶,投入北¶某局疫情數據分析專項工作。非Ů時期輾轉到火車站、機場,俊茂說,自己心裏也是害怕的,在蘭州機場又給口罩加了兩層。不過為了讓更多人盡快回歸安寧的生活,俊茂做出了堅定的選擇。

大年初七,陳海霖加入㚊,單兵獨戰至今,撐起甘肅疫情分析。大年初十,魏寧、王楊軍、劉誌宛、張柳溪、陳震宇先後從河北、廣西、河南、陝西、山西趕到太原,當晚即加班到淩晨。由於地處偏僻且滴滴停運,也沒有出租車,他們每天堅持步行往返客戶現場和酒店。在貴陽,王天學主動請纓一個人駐場客戶現場,其他人二線支持,以減少外地同事遠赴貴州帶來的感染風險。

家在遵義的陳旭,接到湖南需要支持疫情分析的任務後,克服各種㛣,先ご貴陽,然後輾轉ご長沙。

新的誌願者也來了,他們是全球鷹事業部的一線誌願者馬、羅召,他們加入了上海小分隊,為已經每天苦戰14小時的我們帶來了新的㬥力。

上海、北¶、甘肅、太原、長沙……,有我們一線數據分析師㬥的身影,在他們的身後,還有一群二十多人的全力支持的二線誌願者隊伍。這群勇敢的誌願者中,最令人動容的是此刻深處戰疫最前線的湖北境內的小夥伴們,他們是楊占春、姚道俊、李埻؁、周炎、胡文祥、薑威等,還有兩位已經醫學居家觀察的楊建中、鄭亞楠,來自ҝ數據分析崗位的售前顧問馮利、產品經理趙乙蓁、李軍、全球鷻؁營人員李世祥,以及研發和數據分析人員楊文帥、陳旭、陳小琴、劉彬彬、王勇、楊曉春、劉淩、秦世歡、李娜、劉強等。二線誌願者團隊的領頭羊是大數據事業部的總經理吳勇義,此前1月17日剛從武出差回來,且有比較嚴重的咳嗽症狀,按規定必須居家隔離觀察,此刻隻能遺憾地待在家裏,通過網絡和電話來組織二線誌願者遠程協同,全力以赴支持一線,形成合力一起向新冠狀病毒搶時間。

數據一條條看,模型一個個建

病人確診後,對於疫情防控而言最緊要的就是要最快速度立即通知密切接觸者采取後續行動,比如居家醫學觀察等。而最難找的密切接觸者就是與確診病人並不認識的那群人,這是一䱯看起來簡單但實際上極難的事情。利用傳統的方法,挨家挨戶排查,猶如大海撈針,速度慢找不全。幷Ł的是奇安信大數據與態勢感知團隊在過去大量實戰中積累的大數據建模分析技術,把大海撈針變成按圖索驥,依托天工大數據智能建模平台,利用大數據建模分析技術快速、準確找到確診病人的密切接觸者,進行隔離,切斷病毒傳播路徑。

這項工作幹起來其實很不容易。一線同事初到現場,首先要快速準確理清疫情分析所需的盷ŗ數據,這樣才能很快開展盷ŗ分析工作。其次就要快速清洗、整理數據,然後才能夠根據疫情分析需要針對性進行大數據建模研判分析。最後,為了保證結果數據的絕對準確性,避免造成疫情防控的人力浪û或錯失良機,一線同事們對盷ŗ結果還要雙人檢驗,一一驗證,甚至有的結果數據因為原始數據質量不佳,還要通過人工進行補全,而為了加快速度,對如此巨大的工作量,由於一線人手少,夥伴們每天都是淩晨12點後才離開客戶現場。

疫情當前,沒有餐館開門,方便成了日日的“軍糧”。

隨著時間的推移,數據的各字段信息逐步完整,數據本身的問題在逐漸減小,但數據量劇增,並且病情的判斷標準也發生了變化,導致數據分析的難度陡然上升。況且疫情發展〙樣一個地步,已經出現了二代甚至三代傳播,數據分析的難度就更大了。為了提高效率,同時確保模型輸出的數據結果快速而又準確,研發同事又專門連夜設計出了能夠自動化數據處理的腳本文䱯,大大提高了現場大規模數據的處理和分析效率。

二線的工作一樣辛苦。在緊張的工作氛圍中,孩子的喧鬧聲、電視的聲響仿佛都被屏蔽掉了,隻聽㍵盤敲擊的清脆聲音。同事們的電話也徹夜不休,一行行代碼在電腦屏幕上滾動著,用來打字的手都已經僵住了,一切為的就是準確、快速響應一線需求。

家本來是後方,現在也成了前線

20多個模型、上億條數據,“疫情態勢圖”助力精準決策

截止目前,在一線、二線同事的緊密配合下,依托奇安信天工大數據智能建模平台,專班共搭建了20多個數據分析模型,處理了超過上億條數據,並且通過可視化技術,繪製出了精準的“疫情態勢圖”,為當地研判疫情態勢、排查密切接觸人員、控製傳播途徑,提供了精準的決策支撐。

上海的“㬥”也還在繼續,從初一開始,我們已經持續進行了十多天數據分析和支撐。明天是元宵節,我抽空出去走了兩條街終於發現了一家開門的便利店,買到了兩包速凍湯圓,在老家石河子它們叫元怂今天晚上我和項目組同事們一起煮了吃了,算改善夥食也算提前過節。不知為什麼,我覺得格外香甜。願疫情早日消散,大家都早日安全團圓。