当前位置:Gxlcms > Python > JAVA对数据挖掘工程师来说是必须的吗?

JAVA对数据挖掘工程师来说是必须的吗?

时间:2021-07-01 10:21:17 帮助过:11人阅读

本人统计系数据挖掘方向,一直用的是python实现算法,当时的入门教材是《机器学习实战》,里面用的也是python。但最近发现数据挖掘工程师的招聘要求一般都有JAVA,而且人大数据挖掘中心也推荐学生自学JAVA。想做数据挖掘工程师除了掌握python还需要JAVA吗?

回复内容:

我Python是主力语言,另外也用Scala写Spark ML程序,Hadoop上用Pig Latin+UDF做一些批处理。 C/C++和Matlab是读研的时候用的,现在也忘得差不多了。工作之后对前端也饶有兴致的研究了一番,HTML,CSS,JavaScript也都能用(后来Node.js也玩了玩).再后来听说Ruby比Python还优雅,正好还看了松本行弘的《代码的未来》,也尝试了下Ruby,很喜欢Mix-in的多重继承方式,所以我以后写Python也用Mix-in的方式来写多重继承了,感觉还不错.

我负责公司大数据平台构架设计,RTB投放及移动SDK的效果跟踪统计系统设计和开发,大规模用户画像系统的研发。现在我时不时的跟公司的其他Hadoop工程师讨论Hadoop构架,跟前端程序员讨论Angular.js和react.js框架,跟后端的同事讨论Tornado,Flask,Tomcat,Play这些后端框架。广泛学习让我不仅仅成为一个数据挖掘工程师,还让我成为了公司的核心技术人员。我已经觉得我不是数据挖掘工程师了,所以我把title改成了程序员。我认为没什么技能是必须的,你开心就好。

PS:本人专业是学控制的,读研时做的是机器人,现在主要研究方向是自然语处理(我要去做高大上的人工智能!) 熟悉JAVA的必要性是方便你构建一整套Hadoop相关的基础设施,理解内部的工作方式,以及各种躲不开的运维工作。在此基础上,统计、推荐本身的大部分工作可以用Python来替代。
同样的,基于Spark的应用开发也不一定需要熟悉Scala。
在实际工作中,我通常希望推荐团队的同学能够熟悉Hadoop和Spark的底层实现,这样解决问题的能力会强很多。 语言只是工具,工具,工具!!! 我就是人大DMC的,不过我是刚入学的新手,也在仰望着大牛们的背影努力中

我导师给我们的指导意见是,统计的搞数据挖掘,相当的计算机基础还是得有的,至少得有精通一门语言。对于我们这种编程能力不强的人来说,几位老师推荐学好python,java相比较之下入门还是难一些;而对于编程能力强的人,学好java当然百利而无一害,毕竟hadoop是用java实现的。

自己没有数据挖掘方面的实习经历,不知道业界是怎么看待的,感觉 @纪路的答案的意思就是条条大路通罗马。当然,一个人的节奏未必适合另一个人,LZ不妨多请教请教牛导、大神,作为同有志于数据挖掘的菜鸟,共勉! 因为apache家族项目java居多 不是必须的,数据挖掘包括的职位范畴比较广,不需要每个方面都追求

人气教程排行