工作職責:
參與大數據平臺/倉庫項目實施與開發
1?數據接入:各類數據庫(達夢,mysql等)、API接口(python/json/repuest)、手工數據(excel)歸集到大數據平臺(離線、實時);平臺內數據開發(ods/dwd/dws等,新建集市,指標口徑梳理與開發,問題排查,手工指標更新)
2?數據梳理:梳理各主題庫內表情況(表字段清單,碼值,表間關系,數據來源,血緣分析,數據更新情況,常用統計口徑等)
3?數據服務:與各下游(各單位)溝通,接收需求,確認口徑,整理數據映射關系,數據加工
任職/崗位要求:
1?【必備】計算機、統計學、數學等相關專業碩士
2?【必備】24屆及以后,每周5天,實習6個月以上,盡量穩定
3?【必備】有2個月以上數據開發或分析實習經驗
4?【必備】熟練操作SQL語言(增刪改查,聚合,窗口,正則,開發規范),有MySQL/Oracle等庫使用經驗
5?【必備】熟練Python基本操作(讀寫庫,API訪問,Excel操作),了解Linux基本操作(目錄操作,文件操作,系統資源管理,進程管理,端口管理)
6?【必備】了解數倉基本概念
7?【必備】接受適當加班;有耐心處理數據;工作認真負責
8?【加分】有大數據平臺動手經驗;了解容器化相關知識和操作;熟練操作Excel(常用函數,數據入庫)PPT等;有ETL工作經驗:數據抽取,清洗,合計,導出,工作流調度及相關工作:kettle,?datax,?datastage,airflow等;對數據有一定敏感性,通過數據推演業務