Master

Data Engineer数据开发工程师(Data & AI)

Data Engineer数据开发工程师(Data & AI)2021-08-10T03:09:55-04:00<p><span class="im">岗位职责:<br></span>1、利用大数据相关组件实现海量的搜集和存储;<br>2、利用大数据相关组件实现数据清洗,转换等工作;<br>3、利用大数据相关组件实现数据可视化以及海量数据下的多维钻取分析;<br>4、整合大数据相关组件,构建数据沙盒,支撑多租户的数据分析;<br>5、组件性能调优;<br>任职资格:<br>1、5年以上相关工作经验,至少熟练掌握Java,Scala,Python中的一种或多种;<br>2、熟悉Spark,Flink,Mapreduce等分布式计算框架。<br>3、熟悉 Storm,SparkStreaming等流处理框架。<br>4、熟悉MPP和搜索引擎,例如Impala,Presto,Elasticsearch等;<br>5、熟悉熟悉分布式存储系统,例如HDFS,Ceph等。<br>6、熟悉NoSQL存储,例如Hbase,MongoDB,CouchDB等;<br>7、了解PowerBI,Tableau等任一一款可视化工具优先考虑;<br>8、有大数据相关组件性能调优经验或机器学习经验优先考虑;</p> <p>&nbsp;</p> <p>&nbsp;</p> <p>source code:</p> <p style="color: white;">#LI-CHINA&lt;/p &gt;</p>ThoughtworksBeijingChina