具體任職資格:
1、?精通Hadoop、Hive、HBase、Spark、Yarn、Storm、Kafka、sqoop、flume等開源產品,理解其系統架構并可對其進行部署;
2、?理解在大數據平臺下進行實時和非實時數據處理的各種ETL技術和實現方法,并具備對其進行運維管理及優化能力;
3、?熟練掌握linux操作系統;
4、?熟悉SQL語言,能熟練使用Python、JAVA、Scala等開發語言中的一種,有開發經驗者優先;
5、?具備大規模數據平臺管理運維經驗優先;
6、?熟悉騰訊TBDS大數據套件平臺者優先;
7、?強烈的責任心與使命感,對所負責工作有主動意識,具備主動學習的精神和能力;
8、?具備良好的溝通能力和團隊合作能力,對技術具有較高的熱情,領悟力較強;
9、?有較好的文檔撰寫能力;
10、具備5年以上相關技術經驗。
崗位主要職責:
1、負責管理維護大數據平臺的日常運維、業務監控、容量規劃、技術指導、故障分析/解決及系統優化;
2、深入理解大數據平臺架構,及時發現并解決重大故障及性能瓶頸問題;
3、進行復雜故障的解決和升級,擴容等解決方案的設計并執行;
4、開發自動化運維腳本,配合監控系統,優化整個運維的流程;
5、跟蹤并研究大數據新技術的發展,推進大數據平臺的技術更新演進。