每個人都曾試圖在平淡的學習、工作和生活中寫一篇文章。寫作是培養(yǎng)人的觀察、聯(lián)想、想象、思維和記憶的重要手段。大家想知道怎么樣才能寫一篇比較優(yōu)質的范文嗎?下面是小編幫大家整理的優(yōu)質范文,僅供參考,大家一起來看看吧。
數據架構師崗位職責篇一
1、負責大數據基礎平臺的整體規(guī)劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現(xiàn)有大數據集群hadoop、hive平臺提供性能調優(yōu)、架構優(yōu)化重組,解決系統(tǒng)中的關鍵問題和技術難題;
3、把握基礎業(yè)務復雜系統(tǒng)的設計,確保系統(tǒng)的架構質量,編寫核心部分代碼;
4、持續(xù)挑戰(zhàn)新的技術方向,攻克大數據量,高并發(fā),穩(wěn)定性等各種技術難點。
任職資格:
1、計算機或相關專業(yè)本科及以上學歷;
2、5年以上hadoop的應用開發(fā)經驗,5年以上數據倉庫開發(fā)實踐經驗,至少一個企業(yè)級數據倉庫項目開發(fā)經驗或者大數據處理項目經驗;
3、良好的編程開發(fā)能力,精通php及其他開發(fā)語言;
4、熟悉mysql等數據庫經驗,具備優(yōu)秀的sql編寫、調優(yōu)能力;
5、熟練掌握linux常規(guī)命令與工具,精通shell, perl, python等腳本語言至少一種;
6、軟件基礎理論知識扎實,具有良好的數據結構、算法功底;
7、對新技術敏感,學習能力強,樂于接受挑戰(zhàn),具有良好的團隊合作精神;
數據架構師崗位職責篇二
職責:
1、負責企業(yè)大數據平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數據平臺相關自動化服務工具的設計、開發(fā);
3、參與hadoop、hbase、spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統(tǒng)招本科以上學歷,計算機等相關專業(yè),5年以上工作經驗;
2、具有hadoop等大規(guī)模集群管理經驗、海量(pb)數據處理經驗;
3、精通hadoop、hive、hbase等離線平臺相關組件的原理機制;
4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開發(fā)等相關知識,具有后端服務優(yōu)化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
數據架構師崗位職責篇三
職責:
負責大數據平臺架構的規(guī)劃和設計,主導系統(tǒng)的架構設計和核心模塊開發(fā),確保項目質量和關鍵性能指標達成;
負責大數據平臺技術框架的選型與技術難點攻關,指導開發(fā)大數據平臺的開發(fā),保證大數據產品的上線運行;
負責深入理解業(yè)務需求,對業(yè)務建模,設計系統(tǒng)架構,滿足業(yè)務需求;
負責協(xié)助策略和算法工作,保障數據挖掘建模和工程化;
負責根據業(yè)務需求整合優(yōu)化數據架構,保證產品的可靠性、穩(wěn)定性;
負責指導開發(fā)人員完成數據模型規(guī)劃建設、分析模型構建及分析呈現(xiàn);
負責研發(fā)技術發(fā)展方向,新技術領域的探索,將新技術應用到公司大數據平臺,提升公司效能
任職要求:
本科及以上學歷,擁有5年以上大數據平臺產品或分布式系統(tǒng)設計經驗,6年以上的開發(fā)經驗;
精通hadoop,熟悉大數據生態(tài)技術,如storm、spark、scala、flume、kafka、zookeeper、yarn、sqoop、cdh、solr 、kylin、impala、hive、hbase、kerberos、sentry等,有大規(guī)模集群架構、開發(fā)及運維經驗;
熟練掌握java/scala語言,實現(xiàn)面向對象開發(fā)思想ooa,ood,oop;
熟悉linux操作系統(tǒng),熟練掌握腳本言語shell/perl/python等編碼語言;
熟練掌握數據倉庫設計,開發(fā)工作。能夠根據業(yè)務設計并開發(fā)數據倉。
具備源碼級問題解決和集群優(yōu)化改造能力者優(yōu)先;
能快速的學習新的開源框架和知識體系,并應用到現(xiàn)有架構體系中;
邏輯清晰,快速的學習能力,良好的溝通能力、團隊協(xié)調能力。
具備良好的團隊合作精神,較強的溝通交流能力,具備良好的技術領導能力;
具備良好的文檔撰寫能力和技術團隊管理能力
數據架構師崗位職責篇四
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統(tǒng)的架構設計工作,包括系統(tǒng)總體規(guī)劃、架構設計、系統(tǒng)分析、軟件實現(xiàn)、性能優(yōu)化;
3、指導開發(fā)人員開發(fā),并解決系統(tǒng)出現(xiàn)的問題,理解物業(yè)需求;
4、制定開發(fā)計劃和控制開發(fā)進度,負責指導研發(fā)團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業(yè);
2、5年左右軟件開發(fā)經驗,含3年以上系統(tǒng)分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯(lián)網企業(yè)數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉http、tcp等協(xié)議
4、熟練使用uml進行軟件架構設計,至少精通ea,rational, visio等一種設計工具.
5、精通至少一種編程語言,熟悉 linux 相關技術,能獨立在上面進行開發(fā)、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
數據架構師崗位職責篇五
職責:
1. 負責大數據基礎平臺、海量數據存儲/處理分布式平臺、數據分析系統(tǒng)架構設計和研發(fā);
2. 負責實時計算平臺基礎架構設計、部署、監(jiān)控、優(yōu)化升級;
3. 制定項目/數據倉庫設計及實現(xiàn)規(guī)范,指導設計研發(fā)和部署;
4. 協(xié)助策略和算法團隊工作,保障數據挖掘建模和工程化;
5. 深入研究大數據相關技術和產品,跟進業(yè)界先進技術;
任職要求:
1. 全日制本科及以上學歷,5年以上軟件和分布式系統(tǒng)研發(fā)經驗,3年以上大數據系統(tǒng)架構經驗;
2. 精通hadoop/hbase/spark/storm/redis技術及其生態(tài)圈;
3. 具備良好的系統(tǒng)分析能力、故障診斷能力;
4 有大數據策略、算法、可視化經驗優(yōu)先。
數據架構師崗位職責篇六
職責:
1.負責公司大數據底層框架的整體架構設計,結合公司實際業(yè)務情況進行技術選型及大數據戰(zhàn)略規(guī)劃;
2.負責統(tǒng)一數據平臺項目的整體評估、設計、架構及關鍵模塊的開發(fā),不斷提升系統(tǒng)的穩(wěn)定性和效率;
3.負責架構優(yōu)化及系統(tǒng)關鍵模塊的設計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術難題;
4.建立良好的公司內外的業(yè)界技術影響力;有效輔導團隊,提升數據研發(fā)能力;
任職要求:
1.從事大數據項目相關開發(fā)和設計2年以上經驗;有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數據實踐經驗優(yōu)先;
2.擁有一定的算法和數據結構基礎;有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑;
3.熟悉目前正在發(fā)展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業(yè)務解讀能力,懂電力或通信業(yè)務優(yōu)先;
5.具有鉆研精神,樂于接受挑戰(zhàn);
數據架構師崗位職責篇七
職責:
1、負責大數據平臺的技術選型,基于spark、hadoop大數據平臺建設和開發(fā);
2、完成包括數據模型設計、數據采集、數據存儲等方面的大數據系統(tǒng)架構的設計和數據層架構設計;
3、構建數據中臺,為多種行業(yè)應用提供主數據(畫像標簽/關系圖譜)、數據模型、人工智能業(yè)務算法及數據服務。
4、對海量數據處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);
5、帶領大數據技術團隊提供并實現(xiàn)大數據平臺上各項數據分析和數據可視化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大數據架構設計和開發(fā)經驗;2年及以上帶領團隊經驗;溝通能力強。在大型互聯(lián)網企業(yè)從事大數據架構設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經驗、主導過大型商業(yè)軟件的架構設計并取得過市場商業(yè)成功者優(yōu)先考慮;
2、熟悉整個大數據的完整處理流程,包括數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;
3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數據庫的使用,并能進行性能調優(yōu);
4、具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。
數據架構師崗位職責篇八
職責:
1、負責規(guī)劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發(fā)和維護,以及對外服務接口的開發(fā);
3、負責大數據平臺的優(yōu)化和改進工作。
任職要求
1、計算機相關專業(yè)本科及以上學歷,5年以上開發(fā)經驗,其中3年以上為互聯(lián)網、大數據相關的開發(fā)經驗;
2、熟知hadoop生態(tài)圈體系,精通hadoop/spark/storm/kafka中的一項或幾項,深刻理解mapreduce的運行原理和機制,有mpi經驗者尚佳;
3、熟悉elasticsearch、redis、hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉neo4j者尚佳;
4、具有機器學習相關項目經驗者優(yōu)先。
數據架構師崗位職責篇九
職責:
1)負責大數據平臺系統(tǒng)架構設計、核心開發(fā)工作(hadoop&spark技術方向),基于業(yè)務場景設計最優(yōu)的系統(tǒng)解決方案。
2)構架支持大數量級的數據的大數據平臺系統(tǒng),及相關監(jiān)控,拓展系統(tǒng)設計及實現(xiàn)。
3)利用hadoop、spark等大數據技術對海量數據進行處理,支持bi和數據科學(建模)的應用實現(xiàn)。
4)對現(xiàn)有系統(tǒng)的進行架構深入分析及系統(tǒng)優(yōu)化,進一步提升系統(tǒng)的性能及數據處理能力。
任職資格
1)統(tǒng)招本科或以上學歷,計算機相關專業(yè), 5年以上軟件開發(fā)經驗、3年以上大數據項目經驗。
2)具備較豐富的大數據平臺相關構建,維護及調優(yōu)經驗,有大數據量級下的大數據集市相關經驗。
3)具備較豐富的基于hadoop或hive或spark等大數據處理項目經驗,具備一定的數據挖掘經驗。
4) 具有阿里云的emr(emapreduce)的經驗者優(yōu)先考慮。
5)具有良好的業(yè)務理解、溝通和協(xié)作能力,具有較強的學習和總結能力。
6)優(yōu)秀的團隊合作精神、誠實、勤奮、嚴謹,敢于接受挑戰(zhàn)。
7)機器學習技術、數據挖掘經驗豐富者優(yōu)先考慮。
數據架構師崗位職責篇十
職責:
1.負責整個大數據平臺架構的設計和構建;
2.負責構建大數據平臺的數據交換、任務調度等通用平臺;
3.制定開發(fā)、測試、實施、維護的標準和規(guī)范,指導和培訓工程師,不斷提升團隊能力。
4.參與系統(tǒng)需求分析、架構設計、技術選型、應用設計與開發(fā)以及測試與部署,負責編寫核心部分代碼。
5.持續(xù)挑戰(zhàn)新的技術方向,攻克大數據量、高并發(fā)、高可用、可擴展等技術難點。
任職要求:
1.3年以上大數據架構經驗,豐富的數據倉庫、數據挖掘、機器學習項目經驗
2.大規(guī)模數據處理的架構和設計實戰(zhàn)經驗
3.精通spark、mr,熟練hdfs、yarn、hbase、hive、mongodb,熟悉kafka、redis、storm、mahout、flume、elasticsearch、graphdb(neo4j或其他)等,并具有豐富的大型數據平臺工程經驗
4.深刻理解大數據處理(流計算,分布式計算,分布式文件系統(tǒng),分布式存儲等)相關技術和實現(xiàn)方法
5.熟悉主數據、元數據、數據質量等企業(yè)數據管理相關的體系和方法,熟練linux/unix平臺上的開發(fā)環(huán)境
6.本科或以上學歷,計算機軟件或相關專業(yè),豐富的java開發(fā)經驗和互聯(lián)網背景優(yōu)先。
7.具有比較強的問題分析和處理能力,有比較優(yōu)秀的動手能力,熱衷技術,精益求精
數據架構師崗位職責篇十一
職責:
1. 深刻理解政府行業(yè)業(yè)務模式,構建政府行業(yè)的數據模型,制定公司大數據技術發(fā)展路線;
2. 對接業(yè)務研究和技術部門,主動搜集和轉化需求,組織數據中心業(yè)務開發(fā),進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發(fā)數據庫管理系統(tǒng),搜集、提取、處理業(yè)務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰(zhàn)略和發(fā)展需要,規(guī)劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區(qū)協(xié)作,協(xié)助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優(yōu)先;
2.了解政府運作機制,掌握財政行業(yè)知識,有電子政務行業(yè)經驗者優(yōu)先;
3. 熟練掌握使用java或python,精通數據庫查詢語言如sql,oracle等,在機器學習模型和算法方向有應用經驗者優(yōu)先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優(yōu)先;
5. 邏輯思維嚴密,具備業(yè)務抽象、分解和標準化的能力,口頭和書面表達優(yōu)秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優(yōu)秀的人際交往和溝通能力。
數據架構師崗位職責篇十二
職責:
1.參與公司數據平臺系統(tǒng)規(guī)劃和架構工作,主導系統(tǒng)的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統(tǒng)籌和推進制造工廠內部數據系統(tǒng)的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統(tǒng)需求對接、各信息化系統(tǒng)數據對接、軟件供應商管理工作
5.根據現(xiàn)狀制定總體的數據治理方案及數據體系建立,包括數據采集、接入、分類、開發(fā)標準和規(guī)范,制定全鏈路數據治理方案;深入挖掘公司數據業(yè)務,超強的數據業(yè)務感知力,挖掘數據價值,推動數據變現(xiàn)場景的落地,為決策及業(yè)務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟件行業(yè)從業(yè)經驗,5年以上大數據架構設計經驗,熟悉bi平臺、大數據系統(tǒng)相關技術架構及技術標準;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;
4.熟悉制造企業(yè)信息化系統(tǒng)及相關數據庫技術;
5.具備大數據平臺、計算存儲平臺、可視化開發(fā)平臺經驗,具有制造企業(yè)大數據系統(tǒng)項目開發(fā)或實施經驗優(yōu)先;
6.對數據敏感,具備優(yōu)秀的業(yè)務需求分析和報告展示能力,具備制造企業(yè)數據分析和數據洞察、大數據系統(tǒng)的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調能力,具備結果導向思維,有相關項目管理經驗優(yōu)先。
數據架構師崗位職責篇十三
職責
1、負責公司大數據平臺的整體架構設計,包含數據收集、數據存儲、數據挖掘、數據輸出;
2、負責規(guī)劃從數據源到數據應用的整體流程,并參與用戶產品和數據產品的決策;
3、負責海量數據分析、用戶行為分析,構建用戶數據模型;
4、負責解決核心技術問題,對技術方案進行決策;
5、技術團隊管理。
6、熟悉手機ios、安卓系統(tǒng)app開發(fā)
任職資格
1、計算機相關專業(yè)畢業(yè),本科以上學歷;
2、5年以上相關工作經驗,具備軟件產品架構設計經驗,熟練掌握高性能、高擴展性架構設計方法;
3、熟練掌握java或c++任意一門語言、熟悉linux操作系統(tǒng);
4、熟悉hadoop/mr/hbase/mahout/spark等大數據技術,并能夠基于上述項目開發(fā)大數據相關應用;
5、熟悉基本數據挖掘方法和技術;
6、強烈的敬業(yè)精神,良好的溝通與協(xié)調能力,能有效組織協(xié)調團隊完成各類開發(fā)工作;
7、熱愛技術,相信數據的價值,對大數據有深刻的理解。
數據架構師崗位職責篇十四
職責:
1、負責公司的大數據平臺的數倉架構、系統(tǒng)架構設計;
2、負責帶領團隊完成輿情分析相關的挖掘方案設計;
3、負責大數據研發(fā)組團隊管理;
4、負責帶領團隊完成輿情平臺的方案文檔撰寫、迭代開發(fā);
5、負責研發(fā)規(guī)范制定,研究行業(yè)前沿技術;
6、參與產品規(guī)劃及設計討論。
任職要求:
1、本科五年工作經驗及以上,有至少五年的大數據技術實踐經驗,有nlp或ai相關經驗;
2、有很強的架構設計能力和良好的表達能力;
3、有一定的項目管理及團隊管理能力;
4、精通hadoop、spark生態(tài)圈中的常用組件原理及應用;
6、理解媒體業(yè)務,精通數據倉庫的規(guī)劃和設計;
5、精通掌握java或python編程,有性能調優(yōu)能力;
4、熟悉nlp算法原理及應用;
6、對新生事物或者新技術有濃厚興趣,學習能力強。
數據架構師崗位職責篇十五
職責:
1、負責規(guī)劃大數據平臺及應用產品的需求和技術方案設計;
2、負責數據對接和對外服務設計、開發(fā)和維護,并能保證質量和性能;
3、負責基于大數據平臺的應用設計、開發(fā)和維護;
4、能從系統(tǒng)全局和各子系統(tǒng)的角度思考可能存在的問題,并提出改進方案建議;
任職要求:
1、大學本科6年以上工作經驗,計算機相關專業(yè)。
2、至少4年以上的java開發(fā)經驗,3年以上大數據應用系統(tǒng)的開發(fā)和設計經驗。
3、熟悉hadoop生態(tài)圈技術體系, 對離線計算、內存計算和流式計算均有深刻理解, 如hadoop、storm、spark三個中的任意二個, 能進行平臺和組件優(yōu)化。
4、精通hive、hbase倉庫設計,深刻理解mr運行原理和機制,能進行以提供高任務執(zhí)行效率的優(yōu)化。
5、精通java開發(fā),熟悉jvm調優(yōu), 對gc有深刻理解。
6、熟悉linux、shell、kafka、oracle、mysql、redis等相關技術, 能進行hbase可靠性診斷和維護。
7、快速研究和學習技術能力。