又大又粗又硬又爽又黄毛片,国产精品亚洲第一区在线观看,国产男同GAYA片大全,一二三四视频社区5在线高清

當(dāng)前位置:網(wǎng)站首頁 >> 作文 >> 最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)

最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)

格式:DOC 上傳日期:2023-02-27 09:24:17
最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)
時間:2023-02-27 09:24:17     小編:zdfb

無論是身處學(xué)校還是步入社會,大家都嘗試過寫作吧,借助寫作也可以提高我們的語言組織能力。寫范文的時候需要注意什么呢?有哪些格式需要注意呢?下面是小編為大家收集的優(yōu)秀范文,供大家參考借鑒,希望可以幫助到有需要的朋友。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇一

1. 負責(zé)公司大數(shù)據(jù)平臺的設(shè)計和開發(fā),負責(zé)spark, hadoop, flink等云計算平臺的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構(gòu)規(guī)范,進行核心代碼編寫,指導(dǎo)團隊落地;

2. 負責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,技術(shù)難題攻關(guān),持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全、穩(wěn)定、高效運行

3. 設(shè)計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持

4. 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面參與制定并實踐團隊的技術(shù)發(fā)展路線

5. 建立良好的公司內(nèi)外的業(yè)界技術(shù)影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導(dǎo)團隊,提升數(shù)據(jù)研發(fā)能力

任職要求:

1. 有很強的數(shù)據(jù)設(shè)計抽象能力,善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑,能夠開發(fā)創(chuàng)新而實際的分析方法以解決復(fù)雜的商業(yè)問題

2. 有作為技術(shù)負責(zé)人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先

3. 熟練掌握hadoop、spark、flink、hbase的原理特性以及適用場景,精通流式計算開發(fā),有開源二次開發(fā)經(jīng)驗者優(yōu)先,有nlp數(shù)據(jù)處理經(jīng)驗者優(yōu)先

4. 性格積極樂觀,誠信,能自我驅(qū)動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力

5. 本科以上學(xué)歷,扎實的計算機專業(yè)基礎(chǔ),有5年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二

職責(zé):

1、負責(zé)公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計,結(jié)合公司實際業(yè)務(wù)情況進行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;

2、負責(zé)公司項目的整體評估、設(shè)計、架構(gòu)及關(guān)鍵模塊的開發(fā);

3、負責(zé)架構(gòu)優(yōu)化,協(xié)助團隊解決開發(fā)過程中遇到的技術(shù)難題;

4、負責(zé)新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究,并能在團隊進行推廣應(yīng)用;

5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);

6、負責(zé)大數(shù)據(jù)平臺的性能條有和問題診斷。

任職要求:

1、計算機相關(guān)專業(yè),本科及以上學(xué)歷,3-5年以上工作經(jīng)驗,2-3年大數(shù)據(jù)相關(guān)經(jīng)驗;

2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負責(zé)過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設(shè)計;

3、對基于hadoop的大數(shù)據(jù)體系有深入的認識,具備相關(guān)產(chǎn)品(hadoop、hive、hbase、spark、storm、flume、kafka、redis、es等)項目應(yīng)用研發(fā)經(jīng)驗,有hadoop集群搭建和管理經(jīng)驗,度過hadoop和spark源碼;

4、熟悉linux和python語言,了解scala原理和底層技術(shù);

5、熟悉分布式系統(tǒng)的架構(gòu)及對其進行設(shè)計和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關(guān)的實戰(zhàn)經(jīng)驗;

6、算法基礎(chǔ)扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和以上提到的分布式系統(tǒng),

7、必須有一線coding的能力;

8、有統(tǒng)計學(xué)、數(shù)學(xué)知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇三

職責(zé):

1. 負責(zé)大數(shù)據(jù)基礎(chǔ)和應(yīng)用平臺的整體規(guī)劃和架構(gòu)設(shè)計,參與需求分析,架構(gòu)設(shè)計,詳細設(shè)計以及技術(shù)選型決策

2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實現(xiàn)

3. 負責(zé)大數(shù)據(jù)算法平臺的技術(shù)把關(guān),性能調(diào)優(yōu),控制架構(gòu)質(zhì)量,解決項目技術(shù)難題;對研發(fā)項目和任務(wù)需求進行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā)

4. 帶領(lǐng)團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設(shè)計與能力,支持解決方案實施

5. 負責(zé)數(shù)據(jù)庫設(shè)計、應(yīng)用架構(gòu)設(shè)計、核心技術(shù)選型等工作

6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題、設(shè)計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行

7. 培養(yǎng),指導(dǎo)有能力的員工,指導(dǎo)工程師進行技術(shù)驗證實現(xiàn),核心技術(shù)攻關(guān),解決開發(fā)過程中的技術(shù)難題

任職要求:

1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設(shè)計方法

2. 熟練使用并理解hadoopspark架構(gòu)及生態(tài)。(hadoop,hive,hbase,elasticsearch,kafka,sparkflink等)

3. 熟悉分布式系統(tǒng)架構(gòu),有分布式實時、離線和機器學(xué)習(xí)平臺的架構(gòu)和開發(fā)經(jīng)驗,具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗

4. 熟練使用java,具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗

5. 熟悉ai相關(guān)算法,熟悉機器學(xué)習(xí)、深度學(xué)習(xí)。熟悉ai學(xué)習(xí)開源框架(tensorflow、pytorch等)者優(yōu)先;

6. 具備良好的團隊合作精神,對工作充滿激情。

7. 熟悉fusioninsight平臺開發(fā)經(jīng)驗者優(yōu)先

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇四

職責(zé):

1、負責(zé)大數(shù)據(jù)平臺的技術(shù)選型,基于spark、hadoop大數(shù)據(jù)平臺建設(shè)和開發(fā);

2、完成包括數(shù)據(jù)模型設(shè)計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計和數(shù)據(jù)層架構(gòu)設(shè)計;

3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù)。

4、對海量數(shù)據(jù)處理的業(yè)務(wù)需求進行評估和方案設(shè)計、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);

5、帶領(lǐng)大數(shù)據(jù)技術(shù)團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計,支撐解決方案實施。

任職要求:

1、本科及以上學(xué)歷,具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計和開發(fā)經(jīng)驗;2年及以上帶領(lǐng)團隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計經(jīng)驗、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計并取得過市場商業(yè)成功者優(yōu)先考慮;

2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預(yù)處理、存儲、分析挖據(jù)、機器學(xué)習(xí)和數(shù)據(jù)可視化;

3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數(shù)據(jù)庫的使用,并能進行性能調(diào)優(yōu);

4、具備優(yōu)秀的團隊意識和溝通能力,學(xué)習(xí)能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇五

職責(zé):

(1) 負責(zé)公司大數(shù)據(jù)平臺搭建,相關(guān)的設(shè)計和技術(shù)開發(fā)工作,負責(zé)大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設(shè)計、研發(fā)以及維護、優(yōu)化工作;

(2) 通過數(shù)據(jù)分析技術(shù),挖掘有利于營銷中各業(yè)務(wù)場景的變量或規(guī)則類標簽,以提升模型效果,為文旅、教育業(yè)務(wù)提供數(shù)學(xué)模型理論及編程支撐;

(3) 對接溝通業(yè)務(wù)系統(tǒng)研發(fā)團隊和產(chǎn)品部門,提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案,并對業(yè)務(wù)的大數(shù)據(jù)應(yīng)用場景提出建設(shè)性意見;

(4) 配合部門領(lǐng)導(dǎo)進行項目需求分析、設(shè)計開發(fā)工作。

任職要求:

(1) 計算機、統(tǒng)計學(xué),數(shù)學(xué)等相關(guān)專業(yè)本科以上學(xué)歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設(shè)計開發(fā)經(jīng)驗,高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;

(2) 精通hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如storm、spark、scala、flume、kafka、zookeeper、hive、hbase、kerberos等,有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;熟悉hdfs/mapreduce等;

(3) 熟悉java,能夠獨立應(yīng)用python、r、sas或類似分析工具進行數(shù)據(jù)分析;

(4) 熟悉大數(shù)據(jù)挖掘、可視化分析,各種bi算法和產(chǎn)品等,在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領(lǐng)域的研發(fā)經(jīng)驗,能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運營及決策問題;

(5) 有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先,有海量數(shù)據(jù)的機器學(xué)習(xí)算法實踐經(jīng)驗優(yōu)先;

(6) 工作認真、負責(zé),有良好的團隊合作精神,良好的分析能力、溝通技巧。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇六

職責(zé):

1. 規(guī)劃設(shè)計大數(shù)據(jù)平臺整體架構(gòu),規(guī)劃各種組件,并且指導(dǎo)技術(shù)團隊完成相關(guān)系統(tǒng)驗證、安裝、部署、配置;

2. 負責(zé)制定大數(shù)據(jù)平臺技術(shù)規(guī)范和接口規(guī)范,指導(dǎo)研發(fā)團隊按照規(guī)范進行系統(tǒng)開發(fā);

3. 配合商務(wù)人員完成售前技術(shù)支持工作;

4. 完成其他與數(shù)據(jù)應(yīng)用有關(guān)的技術(shù)工作;

任職要求:

1. 計算機相關(guān)專業(yè)本科學(xué)歷,5年以上工作經(jīng)驗;

2. 對大數(shù)據(jù)技術(shù)棧有非常深刻的了解;具備架構(gòu)設(shè)計的實際經(jīng)驗;

3. 對信息安全架構(gòu)設(shè)計及實施有一定的經(jīng)驗;

4. 熟悉linux、windows等操作系統(tǒng)的安裝配置;

5. 熟悉互聯(lián)網(wǎng)應(yīng)用的安裝配置;熟悉常見大數(shù)據(jù)技術(shù)棧組件的安裝配置;熟悉visio等繪圖工具的使用;

6. 有衛(wèi)生信息化建設(shè)經(jīng)驗者優(yōu)先;有容器安裝部署經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇七

職責(zé):

1、負責(zé)企業(yè)大數(shù)據(jù)平臺的基礎(chǔ)建設(shè)、管理及制定拓展規(guī)劃;

2、負責(zé)大數(shù)據(jù)平臺相關(guān)自動化服務(wù)工具的設(shè)計、開發(fā);

3、參與hadoop、hbase、spark等核心平臺組件的開發(fā)、優(yōu)化;

4、對平臺特殊場景化的數(shù)據(jù)應(yīng)用制定相關(guān)實踐方案;

5、大數(shù)據(jù)團隊的搭建。

任職資格:

1、統(tǒng)招本科以上學(xué)歷,計算機等相關(guān)專業(yè),5年以上工作經(jīng)驗;

2、具有hadoop等大規(guī)模集群管理經(jīng)驗、海量(pb)數(shù)據(jù)處理經(jīng)驗;

3、精通hadoop、hive、hbase等離線平臺相關(guān)組件的原理機制;

4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);

5、熟悉高并發(fā)、分布式開發(fā)等相關(guān)知識,具有后端服務(wù)優(yōu)化相關(guān)經(jīng)驗;

6、熟悉爬蟲常用框架以及反爬技術(shù);

7、具有良好的溝通能力、分析問題與攻關(guān)問題的能力;

8、有責(zé)任心,工作積極,對新領(lǐng)域新技術(shù)有熱情。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇八

職責(zé):

1、負責(zé)spark, hadoop, flink等開發(fā)和優(yōu)化。

2、參與前期需求溝通和分析,以產(chǎn)品化開發(fā)的思維,完成需求分解和數(shù)據(jù)架構(gòu)設(shè)計。

3、與研發(fā)和數(shù)據(jù)科學(xué)家合作保證產(chǎn)品定義清晰,按時完成產(chǎn)品上線。

4、能夠洞察市場狀況,與各部門合作轉(zhuǎn)化為基于大數(shù)據(jù)挖掘的新策略或方案.

5、主動創(chuàng)造和發(fā)掘新的基于大數(shù)據(jù)挖掘產(chǎn)品商業(yè)模式.

任職要求:

1、全日制本科及以上學(xué)歷,計算機軟件相關(guān)專業(yè),5年以上開發(fā)經(jīng)驗,3年以上架構(gòu)經(jīng)驗

2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式數(shù)據(jù)存儲和分布式計算平臺原理,流式計算開發(fā),有開源二次開發(fā)經(jīng)驗者優(yōu)先。

3、精通大數(shù)據(jù)挖掘、機器學(xué)習(xí).熟練掌握java/perl/python至少一種編程語言。

4、具有數(shù)據(jù)挖掘和分析、機器學(xué)習(xí)等項目實施相關(guān)經(jīng)驗者優(yōu)先;

5、良好的跨部門溝通合作能力,解決不同觀點能力并取得結(jié)果。具備敏銳的互聯(lián)網(wǎng)產(chǎn)品理解力,學(xué)習(xí)能力和邏輯思維能力強;

6、較強的自我驅(qū)動力、推動和協(xié)調(diào)能力,強烈的責(zé)任心和團隊合作精神;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇九

職責(zé):

1、負責(zé)公司的大數(shù)據(jù)平臺的數(shù)倉架構(gòu)、系統(tǒng)架構(gòu)設(shè)計;

2、負責(zé)帶領(lǐng)團隊完成輿情分析相關(guān)的挖掘方案設(shè)計;

3、負責(zé)大數(shù)據(jù)研發(fā)組團隊管理;

4、負責(zé)帶領(lǐng)團隊完成輿情平臺的方案文檔撰寫、迭代開發(fā);

5、負責(zé)研發(fā)規(guī)范制定,研究行業(yè)前沿技術(shù);

6、參與產(chǎn)品規(guī)劃及設(shè)計討論。

任職要求:

1、本科五年工作經(jīng)驗及以上,有至少五年的大數(shù)據(jù)技術(shù)實踐經(jīng)驗,有nlp或ai相關(guān)經(jīng)驗;

2、有很強的架構(gòu)設(shè)計能力和良好的表達能力;

3、有一定的項目管理及團隊管理能力;

4、精通hadoop、spark生態(tài)圈中的常用組件原理及應(yīng)用;

6、理解媒體業(yè)務(wù),精通數(shù)據(jù)倉庫的規(guī)劃和設(shè)計;

5、精通掌握java或python編程,有性能調(diào)優(yōu)能力;

4、熟悉nlp算法原理及應(yīng)用;

6、對新生事物或者新技術(shù)有濃厚興趣,學(xué)習(xí)能力強。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十

職責(zé):

1. 負責(zé)大數(shù)據(jù)基礎(chǔ)平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計和研發(fā);

2. 負責(zé)實時計算平臺基礎(chǔ)架構(gòu)設(shè)計、部署、監(jiān)控、優(yōu)化升級;

3. 制定項目/數(shù)據(jù)倉庫設(shè)計及實現(xiàn)規(guī)范,指導(dǎo)設(shè)計研發(fā)和部署;

4. 協(xié)助策略和算法團隊工作,保障數(shù)據(jù)挖掘建模和工程化;

5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);

任職要求:

1. 全日制本科及以上學(xué)歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;

2. 精通hadoop/hbase/spark/storm/redis技術(shù)及其生態(tài)圈;

3. 具備良好的系統(tǒng)分析能力、故障診斷能力;

4 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十一

職責(zé):

1、負責(zé)大數(shù)據(jù)平臺技術(shù)框架的技術(shù)選型和搭建;

2、負責(zé)核心技術(shù)問題公關(guān),建設(shè)高可靠性,擴展性及高性能大數(shù)據(jù)/數(shù)據(jù)應(yīng)用平臺;

3、負責(zé)規(guī)劃數(shù)據(jù)挖掘的整體流程,負責(zé)大數(shù)據(jù)開發(fā)團隊業(yè)務(wù)需求開發(fā);

4、與其他團隊密切配合,尋求數(shù)據(jù)層面的業(yè)務(wù)價值,利用數(shù)據(jù)分析結(jié)論推動產(chǎn)品優(yōu)化;

5、研究和分享大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)。

任職要求:

1、計算機相關(guān)專業(yè)全日制統(tǒng)招本科及以上;

2、5年以上工作經(jīng)驗,至少3年以上大數(shù)據(jù)項目相關(guān)工作經(jīng)驗,能夠設(shè)計大型大數(shù)據(jù)系統(tǒng)的架構(gòu)和技術(shù)方案;

3、精通hadoop/spark/hbase/hive等大數(shù)據(jù)技術(shù),精通etl技術(shù);

4、熟悉數(shù)據(jù)挖掘,了解典型大數(shù)據(jù)算法和策略;

5、熟悉主流java技術(shù)框架,精通關(guān)系型數(shù)據(jù)庫及sql語言,熟悉nosql/json/xml;

6、有較強的學(xué)習(xí)能力和問題解決能力,邏輯嚴密、思路清晰;

7、有數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先,有金融行業(yè)項目經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十二

職責(zé):

1、負責(zé)大數(shù)據(jù)項目技術(shù)架構(gòu)評估與設(shè)計;

2、負責(zé)關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;

3、負責(zé)對使用關(guān)鍵技術(shù)的預(yù)研和選型,完成poc;

4、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。

任職要求:

1、3年以上相關(guān)工作經(jīng)驗,其中具有1年以上架構(gòu)設(shè)計經(jīng)驗

2、熟悉商業(yè)智能系統(tǒng)相關(guān)技術(shù),如 etl、數(shù)據(jù)倉庫、olap開發(fā);

3、精通設(shè)計模式,熟悉面向服務(wù)架構(gòu)(soa)以及其它常用軟件架構(gòu)思想,有soa方案設(shè)計、開發(fā)實施的實際經(jīng)驗,要具備實際的服務(wù)規(guī)劃、服務(wù)粒度劃分經(jīng)驗;并且要善于設(shè)計可重用組件和可定制化產(chǎn)品。

4、相關(guān)技術(shù)棧:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;

5、有扎實的計算機基礎(chǔ),熟悉java等編程語言;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十三

職責(zé):

1、負責(zé)自然語音交互、iot家電物聯(lián)控制、知識圖譜等相關(guān)模塊和系統(tǒng)的開發(fā);

2、負責(zé)掌握第三方接口的調(diào)用和功能實現(xiàn),持續(xù)優(yōu)化服務(wù)性能和容量,并保證產(chǎn)品的兼容性和執(zhí)行效率;

3、根據(jù)設(shè)計文檔和需求說明完成代碼編寫、調(diào)試、單元測試與維護,確保項目進度和質(zhì)量;

4、協(xié)助制定測試計劃,及時發(fā)現(xiàn)并修復(fù)bug,實現(xiàn)服務(wù)端的性能優(yōu)化。

任職資格:

1、大學(xué)本科3年以上工作經(jīng)驗,計算機相關(guān)專業(yè);

2、熟悉軟件項目開發(fā)流程,具有良好編碼風(fēng)格及文檔編寫能力;

3、熟悉linux服務(wù)器相關(guān)技術(shù),能夠獨立完成服務(wù)器部署,具有相關(guān)經(jīng)驗;

4、熟悉hadoop/spark框架,java基礎(chǔ)扎實;

5、熟練使用mysql數(shù)據(jù)庫,了解mongodb或neo4j等分布式數(shù)據(jù)庫;

6、熟悉springcloud,ssm,docker,redis開發(fā)者優(yōu)先;

7、熟悉前端(包括但不限于html5、css、angularjs、ajax、jquery等)開發(fā)技術(shù)優(yōu)先;

8、了解socket網(wǎng)絡(luò)編程、mqtt等,有相應(yīng)實踐經(jīng)驗者優(yōu)先;

9、有智能語音語義、知識圖譜服務(wù)端開發(fā)經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十四

職責(zé):

1. 負責(zé)產(chǎn)品級業(yè)務(wù)系統(tǒng)架構(gòu)(如業(yè)務(wù)數(shù)據(jù)對象識別,數(shù)據(jù)實體、數(shù)據(jù)屬性分析,數(shù)據(jù)標準、端到端數(shù)據(jù)流等)的設(shè)計與優(yōu)化。協(xié)助推動跨領(lǐng)域重大數(shù)據(jù)問題的分析、定位、解決方案設(shè)計,從架構(gòu)設(shè)計上保障系統(tǒng)高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統(tǒng)質(zhì)量負責(zé)。

2.負責(zé)云數(shù)據(jù)平臺的架構(gòu)設(shè)計和數(shù)據(jù)處理體系的優(yōu)化,推動云數(shù)據(jù)平臺建設(shè)和持續(xù)升級,并制定云數(shù)據(jù)平臺調(diào)用約束和規(guī)范。

3. 結(jié)合行業(yè)應(yīng)用的需求負責(zé)數(shù)據(jù)流各環(huán)節(jié)上的方案選型,主導(dǎo)云數(shù)據(jù)平臺建設(shè),參與核心代碼編寫、審查;數(shù)據(jù)的統(tǒng)計邏輯回歸算法、實時交互分析;數(shù)據(jù)可視化方案等等的選型、部署、集成融合等等。

4. 對云數(shù)據(jù)平臺的關(guān)注業(yè)內(nèi)技術(shù)動態(tài),持續(xù)推動平臺技術(shù)架構(gòu)升級,以滿足公司不同階段的數(shù)據(jù)需求。

任職要求:

1. 熟悉云計算基礎(chǔ)平臺,包括 linux(ubuntu/centos)和 kvm、openstack/k8s 等基礎(chǔ)環(huán)境,熟悉控制、計算、存儲和網(wǎng)絡(luò);

2. 掌握大型分布式系統(tǒng)的技術(shù)棧,如:cdn、負載均衡、服務(wù)化/異步化、分布式緩存、nosql、數(shù)據(jù)庫垂直及水平擴容;熟悉大數(shù)據(jù)應(yīng)用端到端的相關(guān)高性能產(chǎn)品。

3. 精通 java,python,shell 編程語言,精通 sql、nosql 等數(shù)據(jù)庫增刪改查的操作優(yōu)化;

4. pb 級別實戰(zhàn)數(shù)據(jù)平臺和生產(chǎn)環(huán)境的實施、開發(fā)和管理經(jīng)驗;

5. 熟悉 docker 等容器的編排封裝,熟悉微服務(wù)的開發(fā)和日常調(diào)度;

6.計算機、軟件、電子信息及通信等相關(guān)專業(yè)本科以上學(xué)歷,5 年以上軟件工程開發(fā)經(jīng)驗,2 年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十五

職責(zé):

1、搭建基于hadoop/spark的數(shù)據(jù)挖掘體系和大數(shù)據(jù)分析系統(tǒng)架構(gòu);

2、研究大數(shù)據(jù)領(lǐng)域前沿數(shù)據(jù)挖掘技術(shù),并引入相應(yīng)技術(shù)在數(shù)據(jù)中心的使用;

3、進行大數(shù)據(jù)系統(tǒng)框架設(shè)計、模型算法開發(fā);

4、負責(zé)大型數(shù)據(jù)挖掘項目方案制定、項目實施落地及優(yōu)化等 ;

5、開展數(shù)據(jù)爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領(lǐng)域數(shù)據(jù)挖掘工作;

任職資格:

1、本科以上學(xué)歷(持有學(xué)士學(xué)位)(985,211優(yōu)先),計算機相關(guān)專業(yè),五年工作經(jīng)驗;

2、二年以上數(shù)據(jù)挖掘項目經(jīng)驗,完整參與過數(shù)據(jù)挖掘大數(shù)據(jù)平臺的架構(gòu)開發(fā)過程,具備互聯(lián)網(wǎng)行業(yè)背景優(yōu)先;

3、精通分布式計算框架(hadoop、spark、storm等)及相關(guān)經(jīng)驗,熟練掌握hive/sql,python,熟悉python、r相關(guān)數(shù)值科學(xué)計算庫(numpy,scipy等);

4、了解傳統(tǒng)的bi/dw 理論,能結(jié)合傳統(tǒng)bi實踐設(shè)計大數(shù)據(jù)平臺;

5、熟悉常用機器學(xué)習(xí)算法(如分類、回歸、聚類、關(guān)聯(lián)規(guī)則等)及其原理,具備應(yīng)用場景經(jīng)驗,如用戶畫像、商品關(guān)聯(lián)度分析、輿情分析;

6、熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、和數(shù)據(jù)建模等數(shù)據(jù)治理相關(guān)的體系和方法;

7、具備較強的邏輯思維能力、數(shù)據(jù)敏感度,擅于利用數(shù)據(jù)發(fā)現(xiàn)問題及解決問題;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十六

職責(zé):

1、對業(yè)務(wù)需求深入分析,從而進行大數(shù)據(jù)平臺核心應(yīng)用的架構(gòu)設(shè)計、開發(fā)和技術(shù)支持;

2、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設(shè)計、技術(shù)決策以及詳細設(shè)計;

3、把握復(fù)雜系統(tǒng)的設(shè)計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;

4、帶領(lǐng)團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);

5、在大數(shù)據(jù)平臺建設(shè)路線圖指導(dǎo)下,進行架構(gòu)實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準確性;

6、進行團隊技術(shù)的培訓(xùn)和梯隊建設(shè)崗位要求;

任職條件:

1、本科或以上學(xué)歷,計算機相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗;

2、精通java開發(fā)技術(shù),熟悉shell、scala語言和python優(yōu)先;

3、編程基礎(chǔ)扎實,熟悉i/o、多線程、集群等基礎(chǔ)框架和原理,熟悉分布式、緩存、消息等機制;

4、熟悉常用設(shè)計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;

5、熟悉aws云服務(wù)或阿里云服務(wù);

6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉docker、mesos、kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應(yīng)用生命周期。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十七

職責(zé)

1、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃、設(shè)計、開發(fā)和優(yōu)化工作,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;

2、參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計和開發(fā),搭建離線、實時數(shù)據(jù)公共層;

3、參與數(shù)據(jù)產(chǎn)品與應(yīng)用的數(shù)據(jù)研發(fā),發(fā)掘數(shù)據(jù)商業(yè)價值,打造極致體驗的數(shù)據(jù)產(chǎn)品;

4、深入理解數(shù)據(jù)產(chǎn)品的使用場景,為業(yè)務(wù)方在可用性、成本上做更好的設(shè)計做參考;

5、團隊成員的搭建與培養(yǎng),任務(wù)劃分,進度監(jiān)控,代碼規(guī)范,質(zhì)量保證。

任職要求

1、熟悉數(shù)據(jù)倉庫建模理論,3年以上相關(guān)領(lǐng)域?qū)嵺`經(jīng)驗;

2、hadoop、hive、hbase、storm、spark等技術(shù)框架;

3、精通java、python、scala、go等開發(fā)語言中的1到2種;

4、熟練使用python/java/scala或其他語言進行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)處理工作,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;

5、對mysql、redis、hbase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗;

6、對olap,多維分析及kylin熟悉的更好;

7、思路清晰,具備良好的溝通能力和理解能力,較強的學(xué)習(xí)能力以及快速解決問題的能力;

8、對新技術(shù),新事物有很好的探索和求知欲;

9、熟悉常規(guī)的機器學(xué)習(xí)算法:降維(pca、svd)、svm、邏輯回歸(logisticsregression)、決策樹(gbdt、randomforest)、關(guān)聯(lián)規(guī)則(apriori、fp-growth)、聚類(k-means)等優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十八

職責(zé):

1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設(shè)計;

2、負責(zé)大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點攻關(guān);

3、能夠獨立進行行業(yè)大數(shù)據(jù)應(yīng)用的整體技術(shù)框架、業(yè)務(wù)框架和系統(tǒng)架構(gòu)設(shè)計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務(wù)需求,能夠指導(dǎo)開發(fā)團隊完成實施工作;

4、負責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務(wù)提供大數(shù)據(jù)底層平臺的支持和保證;

5、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術(shù)指導(dǎo)。

任職要求:

1、計算機相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學(xué)位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構(gòu)經(jīng)驗);

2、精通java,j2ee 相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(oracle mysql等)和nosql數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);

3、精通sql和mapreduce、spark處理方法;

4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有dw,bi架構(gòu)體系的專項建設(shè)經(jīng)驗;

5、對大數(shù)據(jù)體系有深入認識,熟悉kafka、hadoop、hive、hbase、spark、storm、greenplum、es、redis等大數(shù)據(jù)技術(shù),并能設(shè)計相關(guān)數(shù)據(jù)模型;

6、很強的學(xué)習(xí)、分析和解決問題能力,可以迅速掌握業(yè)務(wù)邏輯并轉(zhuǎn)化為技術(shù)方案,能獨立撰寫項目解決方案、項目技術(shù)文檔;

7、具有較強的內(nèi)外溝通能力,良好的團隊意識和協(xié)作精神;

8、機器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;

9、 具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十九

職責(zé):

1、從事電信行業(yè)大數(shù)據(jù)項目相關(guān)業(yè)務(wù)調(diào)研、產(chǎn)品標準建設(shè)、核心模型設(shè)計和優(yōu)化、系統(tǒng)測試等相關(guān)工作

2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具,負責(zé)產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設(shè)計

3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式,參與項目中的數(shù)據(jù)移植工作,收集在項目中的數(shù)據(jù)移植經(jīng)驗,優(yōu)化產(chǎn)品的數(shù)據(jù)模型

4、負責(zé)培訓(xùn)本部門隊伍的數(shù)據(jù)模型基礎(chǔ)理論工作,建立數(shù)據(jù)模型團隊

崗位要求:

1、統(tǒng)招本科學(xué)歷,3年以上主流數(shù)據(jù)上(db2、oracle、sqlserver、mysql等)etl設(shè)計、開發(fā)經(jīng)驗,具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設(shè)計經(jīng)驗,精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗;

2、擁有python,r等數(shù)學(xué)建模工具的使用經(jīng)驗,并具備一定的數(shù)據(jù)處理和建模經(jīng)驗,可以輸出相應(yīng)的模型分析結(jié)果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;

3、熟悉統(tǒng)計學(xué)基本原理,做過實戰(zhàn)的數(shù)據(jù)建模項目;

4、有分布式數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗者優(yōu)先,具備電信行業(yè)數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗者優(yōu)先;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十

職責(zé):

1、數(shù)據(jù)分析軟件平臺架構(gòu)搭建

2、負責(zé)深度學(xué)習(xí)核心框架或高性能后臺服務(wù)系統(tǒng)的架構(gòu)設(shè)計工作,包括系統(tǒng)總體規(guī)劃、架構(gòu)設(shè)計、系統(tǒng)分析、軟件實現(xiàn)、性能優(yōu)化;

3、指導(dǎo)開發(fā)人員開發(fā),并解決系統(tǒng)出現(xiàn)的問題,理解物業(yè)需求;

4、制定開發(fā)計劃和控制開發(fā)進度,負責(zé)指導(dǎo)研發(fā)團隊開展設(shè)計工作;

任職要求:

1、碩士以上,計算機或先關(guān)專業(yè);

2、5年左右軟件開發(fā)經(jīng)驗,含3年以上系統(tǒng)分析、設(shè)計經(jīng)驗,有大型軟件項目大型軟件項目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫架構(gòu)設(shè)計及管理經(jīng)驗,

3、 具備良好的組件級建模能力,熟悉http、tcp等協(xié)議

4、熟練使用uml進行軟件架構(gòu)設(shè)計,至少精通ea,rational, visio等一種設(shè)計工具.

5、精通至少一種編程語言,熟悉 linux 相關(guān)技術(shù),能獨立在上面進行開發(fā)、測試和部署

6、深入理解數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)、分布式體系架構(gòu)和關(guān)鍵技術(shù)

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十一

職責(zé):

1、負責(zé)公司的大數(shù)據(jù)處理框架的研發(fā)設(shè)計工作,梳理可實現(xiàn)方案和技術(shù)規(guī)范;

2、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線、實時大數(shù)據(jù)處理系統(tǒng)的設(shè)計、開發(fā)、測試及多個業(yè)務(wù)模塊的自動化集成;

3、負責(zé)業(yè)務(wù)平臺數(shù)據(jù)統(tǒng)計分析模塊的設(shè)計與規(guī)劃;

4、負責(zé)公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設(shè)計;

5、帶領(lǐng)和培養(yǎng)團隊完成組織分解的目標;

任職要求:

1、統(tǒng)招本科及以上學(xué)歷,計算機、軟件工程相關(guān)專業(yè),至少8年以上工作經(jīng)驗,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相關(guān)技術(shù)的基礎(chǔ)架構(gòu)

3、熟悉數(shù)據(jù)倉庫,數(shù)據(jù)算法,分布式計算技術(shù)理論,具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計經(jīng)驗;

4、熟悉linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;

5、對深度學(xué)習(xí)框架(tensorflow)和機器學(xué)習(xí)(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

6、能夠組織項目開發(fā)組協(xié)同工作,包括團隊溝通、計劃、開發(fā)環(huán)境管理等

全文閱讀已結(jié)束,如果需要下載本文請點擊

下載此文檔
a.付費復(fù)制
付費獲得該文章復(fù)制權(quán)限
特價:5.99元 10元
微信掃碼支付
已付款請點這里
b.包月復(fù)制
付費后30天內(nèi)不限量復(fù)制
特價:9.99元 10元
微信掃碼支付
已付款請點這里 聯(lián)系客服