崗位職責：
1、?從事Hadoop、Spark、Hbase、hive、kafka等分布式大數據平臺產品的設計和開發；
2、?針對部門大數據業務進行大數據分析、挖掘等產品應用的開發；
3、?大數據平臺各類數據業務抽象及模型化；
4、?參與大數據管理平臺的開發及維護；
5、?負責大數據平臺數據實時計算算法和流處理；
6、?負責大數據平臺數據及相關的應用開發，調優及維護；
7、?為項目相關開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
8、?有Spark?Streaming、Structured?Streaming、Flink的實時計算經驗優先.
任職要求：
1、3年以上大數據應用開發經驗，本科及以上學歷；
2、掌握Java、Scala、Python語言開發經驗優先；
3、有以下大數據平臺子系統開發經驗優先（元數據管理平臺、取數即席查詢平臺、OLAP平臺、實時計算）
4、熟悉Hadoop大數據生態圈技術，對分布式存儲Hdfs,Hive,Hbase等?資源調度Yarn,Kubernetes,Azkaban等，計算框架?Spark,Prosto,Hive,Impala等?有相關源碼研究優先。
5、熟悉并掌握離線和實時數據處理流程，熟練使用Spark，Flink處理TB級數據優先。
6、熟悉阿里DataWorks，并能通過阿里EMR+OSS搭建數據湖泊優先。
7、熟悉Linux環境，熟悉Mysql、Postgre、MongoDB等常用關系數據庫，熟練編寫SQL語句；
8、對大數據技術有強烈興趣，有志于往大數據處理方向發展；工作認真踏實，動手和學習新技術能力強。
