注:此崗位為云集智造公司招聘崗位。
崗位描述:
1、負責企業大數據平臺的架構設計、系統調試、集成及基礎組件的調優,保證大數據產品平穩上線運行;?
2、負責數據抽取(etl),數據的分析及挖掘。
4、參與需求設計,主導數據處理方案編寫,負責大數據平臺技術的預研;
崗位要求:?
1、熟練使用Linux操作系統,熟悉大數據平臺組件的搭建及維護;?
2、具有5年以上大數據平臺項目實施經驗(數據抽取,數據分析,數據挖掘);
3、熟練掌握Hadoop、Hbase、Hive、Storm、Spark等開源框架,具備Spark、HIve、Sqoop實際項目經驗;
4、熟悉其它分布式生態圈相關技術,包括HDFS,Hive、Redis、Mongodb、Flink、?Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch、Kylin等;
5、具有一定的項目規劃和決策能力,善于捕捉業務需求,并給出有效的處理方案;
6、熟悉整個大數據平臺開發流程,包括數倉建立,數據的采集、清洗、預處理、數據存儲、組件優化、問題定位、數據分析挖掘、機器學習和數據可視化等(優先考慮);
7、不少于4年大數據使用的實際工作經驗;