淺談攜程在大數(shù)據(jù)平臺構(gòu)建中遭遇的挑戰(zhàn)
大小:0.07 MB 人氣: 2017-10-11 需要積分:1
這是繼3月中旬,SDCC之架構(gòu)&數(shù)據(jù)庫峰會在上海圓滿收官后的再一次相聚。上海站上,18位技術(shù)講師給超過500名的現(xiàn)場參會者帶來了精彩分享,火爆程度超出主辦方想象。
即將到來的SDCC深圳技術(shù)峰會講師陣容強大,主辦方邀請了來自于百度、阿里、騰訊、滴滴出行、攜程、平安科技、AdMaster、華為、京東、唯品會、一號店、中國電信、閱文集團等公司的技術(shù)骨干、首席架構(gòu)師來為與會者分享演講和交流,必定是一場技術(shù)人的饕餮盛宴?!灸壳跋迺r6折,點擊這里搶票】
在即將到來的SDCC深圳技術(shù)峰會召開之際,由CSDN負責(zé)數(shù)據(jù)庫技術(shù)領(lǐng)域的小編采訪了一些參會講師,談?wù)勊麄儗⒃诒敬位顒铀窒淼膬?nèi)容。
攜程大數(shù)據(jù)平臺負責(zé)人 張翼
本期我們采訪的講師是來自攜程大數(shù)據(jù)平臺負責(zé)人 張翼,主要負責(zé)的是大數(shù)據(jù)平臺。進入互聯(lián)網(wǎng)行業(yè)近10年,從事大數(shù)據(jù)平臺和架構(gòu)的工作超過6年。對大數(shù)據(jù)的底層平臺的構(gòu)建和相關(guān)的技術(shù)有較為深入的研究,對于數(shù)據(jù)倉庫和機器學(xué)習(xí)相關(guān)的技術(shù)也有所涉獵。
張翼將在SDCC 2016 深圳站之?dāng)?shù)據(jù)庫峰會上分享的主題是 《攜程實時大數(shù)據(jù)處理平臺和實踐 》,想要知道全部數(shù)據(jù)庫技術(shù)峰會講師情況和議題可參見:SDCC深圳站數(shù)據(jù)庫/大數(shù)據(jù)專場講師議題全公布。
以下是專訪內(nèi)容:
CSDN:首先請簡單介紹下您和您所在的公司,以及目前所負責(zé)的領(lǐng)域。
張翼:我叫張翼,浙江大學(xué)畢業(yè),最初的專業(yè)是信息管理,屬于管理學(xué)院,由于喜歡在電腦上搗鼓些東西,也想比較系統(tǒng)地學(xué)習(xí)相關(guān)的知識,所以在大二下半學(xué)期的時候就轉(zhuǎn)到了軟件工程,真是“一入空門深似?!卑?,研究生畢業(yè)之后在Ebay中國研發(fā)中心和大眾點評工作過,目前擔(dān)任攜程大數(shù)據(jù)平臺的負責(zé)人,現(xiàn)在看來在互聯(lián)網(wǎng)行業(yè)打拼也有近十年時間了。
攜程大家應(yīng)該是蠻熟悉了吧,全國領(lǐng)先的OTA平臺,旅游出行相關(guān)的都可以在上面一站式的完成,從酒店和機票的預(yù)訂到火車票和汽車票,租車等,只要你能想到的和旅行相關(guān)的所有東西,在攜程上都可以輕松實現(xiàn)。
目前我在攜程主要負責(zé)的是大數(shù)據(jù)平臺,是攜程數(shù)據(jù)的基礎(chǔ)架構(gòu)和工具;包括底層計算和存儲平臺,也包括上層數(shù)據(jù)應(yīng)用相關(guān)的平臺和工具。
CSDN:您有將近10年的互聯(lián)網(wǎng)從業(yè)經(jīng)驗,想問下您是如何走上這條技術(shù)之路的?
張翼:前面也提到了,大學(xué)時比較喜歡計算機,所以就選擇了軟件工程這個專業(yè)。最后就沿著這條路一直走下來了,可能源于本身對于互聯(lián)網(wǎng)和技術(shù)比較感興趣吧。
CSDN:作為攜程大數(shù)據(jù)平臺的負責(zé)人,你帶領(lǐng)的團隊在對大數(shù)據(jù)平臺的構(gòu)建過程中,遇到了哪些技術(shù)難點和挑戰(zhàn)呢?
張翼:在整個平臺構(gòu)建的不同階段,遇到的挑戰(zhàn)是不同的,最初的階段是平臺的穩(wěn)定性,包括底層計算和存儲平臺(Hadoop / Hive / HBase)的穩(wěn)定性以及上層自研發(fā)系統(tǒng),如調(diào)度平臺,報表平臺的穩(wěn)定性;對于前者需要有技術(shù)投入,對開源系統(tǒng)要有源碼級的理解,至少能夠在解決遇到的問題時做到臨危不亂,有路可循;另外就是一個好的運維自動化和監(jiān)控的體系和工具是非常有幫助的;對于自研的系統(tǒng),一開始的設(shè)計一定要做好,一個正確的假設(shè),好的設(shè)計對穩(wěn)定性至關(guān)重要。
在穩(wěn)定性的問題初步解決之后,我們面臨的挑戰(zhàn)就是如何緊密結(jié)合業(yè)界的發(fā)展和公司實際的需求,真正將一些好用的框架落地下去,支持公司數(shù)據(jù)分析和挖掘的需求是一個很大的挑戰(zhàn),我的經(jīng)驗是一開始的時候面不能鋪的太開,想要面面俱到往往各個方向的效果都不是那么理想,結(jié)合目前技術(shù)大的趨勢和公司最迫切的需求,選擇1-2個方面,以實際業(yè)務(wù)能落地的例子開始嘗試,往往能夠取得比較好的效果。
CSDN:我們都知道,攜程是國內(nèi)領(lǐng)先的在線票務(wù)服務(wù)公司,能否介紹下大數(shù)據(jù)的平臺構(gòu)建給攜程帶來了哪些好處?
張翼:大數(shù)據(jù)的應(yīng)用現(xiàn)在已經(jīng)深入攜程的方方面面,從最為普通的數(shù)據(jù)報表到結(jié)合業(yè)務(wù)的復(fù)雜的機器學(xué)習(xí)的應(yīng)用;數(shù)據(jù)已經(jīng)深入到公司運行的方方面面;統(tǒng)一的大數(shù)據(jù)平臺的構(gòu)建給各個業(yè)務(wù)部門開發(fā)自己相關(guān)的數(shù)據(jù)應(yīng)用提供了堅實的技術(shù)的保證,他們更多只需要關(guān)系于業(yè)務(wù)的邏輯的處理和分析,提高了整體數(shù)據(jù)開發(fā)的效率。
CSDN:那么,能否簡單介紹下,攜程大數(shù)據(jù)平臺在未來的規(guī)劃和發(fā)展方向又是什么呢?
張翼:在技術(shù)上,首先我們準備更多地擁抱Spark,目前Spark主要的使用場景還是集中在機器學(xué)習(xí)相關(guān)的方面,未來我們會嘗試在ETL等方面嘗試使用Spark(或是Hive on Spark),以獲得更高的計算效率,另外,在實時方面Spark 2.0之后,它的實時模型得到了很大的進化,我們會考慮將它作為實時計算引擎之一引入我們的實時計算平臺;其次,我們會關(guān)注一下其他開源的“新”項目,如Kudo,F(xiàn)link,希望和現(xiàn)在的平臺結(jié)合給攜程的數(shù)據(jù)使用和分析的同學(xué)提供更多可能。
除了在技術(shù)上的提升,我們也希望在一些特定的領(lǐng)域把一些經(jīng)驗和知識通過程序固化下來,開發(fā)相對通用的業(yè)務(wù)支持的平臺和數(shù)據(jù)產(chǎn)品,更好地服務(wù)公司的業(yè)務(wù)。
CSDN:回顧您在互聯(lián)網(wǎng)這個行業(yè)從業(yè)以來,有哪些心得和體會可和我們分享的?
張翼:和大家分享一下一點我的體會吧,就是不滿足現(xiàn)狀,不斷嘗試新的東西,提高自己各方面的能力;工作進行了一段時間之后,大家總會進入一個舒適區(qū),在這些時候你可以考慮下,這是不是你所追求的,你是否還能做得更好或是更多,這樣你就會嘗試去學(xué)習(xí)新的東西,嘗試新的領(lǐng)域,開始去尋找新的挑戰(zhàn),不需要把自己逼得太急,可以按照自己的節(jié)奏去進行,只要這樣做一段時間之后就一定會有收獲,不滿足的初心非常重要。
CSDN:您認為要想成為一名優(yōu)秀的技術(shù)人員身上該具備哪些素質(zhì)?
張翼:首先最重要的是對技術(shù)要有激情,有熱情,能夠主動去學(xué)習(xí)自己感興趣的技術(shù),做深做透。
其次是基礎(chǔ)需要過硬,如掌握至少的語言,對于計算機學(xué)科的相關(guān)知識,如操作系統(tǒng),數(shù)據(jù)結(jié)構(gòu)與算法,設(shè)計模式等能夠熟練掌握。
再次就是溝通協(xié)調(diào),項目管理等軟性能力,以及個人管理的一些技能,如時間管理的能力
哈哈,有點說的像是招聘的JD。
CSDN:在本次SDCC 2016(深圳站)數(shù)據(jù)庫峰會上,您分享的話題是?
張翼:在本次的數(shù)據(jù)庫峰會上,我分享的話題是攜程實時計算平臺的實踐;我將會和大家分享一下我們是如何一步一步構(gòu)建起實時分析的平臺,我們現(xiàn)在調(diào)研的方向和工作,以及未來的方向。
CSDN:您最期待在SDCC 2016(深圳站)峰會上看到哪些內(nèi)容?
張翼:非常高興能夠有幸被邀請參加這次的峰會,第一天大數(shù)據(jù)相關(guān)的內(nèi)容也是干貨滿滿,希望和廣大同行多多交流,互相學(xué)習(xí)。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
淺談攜程在大數(shù)據(jù)平臺構(gòu)建中遭遇的挑戰(zhàn)下載
相關(guān)電子資料下載
- 航天宏圖智慧生態(tài)大數(shù)據(jù)平臺提高生態(tài)保護紅線監(jiān)管工作效率 672
- 【節(jié)能學(xué)院】淺談打造泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺 149
- 智慧交通大數(shù)據(jù)平臺及視頻AI分析采購 200
- 淺談打造泛在電力物聯(lián)網(wǎng)大數(shù)據(jù)平臺 219
- 基于kube-prometheus的大數(shù)據(jù)平臺監(jiān)控系統(tǒng)設(shè)計 262
- 智慧農(nóng)業(yè)大數(shù)據(jù)平臺的“智慧”體現(xiàn)在哪些方面? 226
- IBM最新發(fā)布企業(yè)級 AI 與數(shù)據(jù)平臺 watsonx 296
- 廣立微大數(shù)據(jù)平臺全線升級 為芯片全生命周期保駕護航 650
- 大數(shù)據(jù)平臺有哪些 大數(shù)據(jù)技術(shù)應(yīng)用有哪些 7749
- 光點科技農(nóng)業(yè)農(nóng)村領(lǐng)域信用大數(shù)據(jù)平臺解決方案入選“2022廣東省政務(wù)服務(wù)創(chuàng)新 466