数据科学家、数据分析师和数据工程师之间有什么区别？

在本文中，我们将探讨数据科学家、数据分析师和数据 数据分析师 和 工程师之间的区别。很多人都搞错了。更令人困惑的是，大多数招聘公司以不同的方式定义这些职位空缺。 为了清楚起见，我们将看一下 Monica Rogatti 的“数据科学需求层次结构”图，通过它我们将了 解数据科学家、数据分析师、数据工程师的不同角色。

该方案首先告诉我们，如果我们无法正确收集数据分析师 和

数据（步骤 1 ），那么使用人工智能和深度学习（步 电话营销数据 骤 6 ）就没有意义。人工智能本身并不能神奇地解决我们的业务问题。很可能，我们的业务发展并不需要人工智能的帮助；因为大多数业务问题都可以在“需求层次结构”的较低级别上解决……

组织好数据收集后，我们需要考虑其适当的存储（步骤2）。例如，我们拥有的数据可以是：

当然，我们看到的并没有什么问题，因为它确实是数据。但为了处理这些数据，我们需要将其移动到有用的位置并存储它。该位置可以是关系数据库或常规 csv 文件，这并不重要。本质上，我们需要编写一个数据管道来确保数据以常规方式从一个位置移动到另一个位置。当数据很大并且收集在分布式系统中时，编写这样的管道就成为一项非常复杂的任务，只有知识渊博的数据 工程师才能处理。

 

数据传输后，我们需要考虑其质量（步骤 3）。由于收集数据的软件工具是人类劳动的产物，因此收集到的数据存在错误和缺陷（例如，根据一款软件工具提供的数据，有人每天25小时使用该软件（！）。正是出于这个原因，数据 工程师不断致力于检查、清理和重新格式化数据。

 成功通过前面的所有步骤后，我们终于

可以从数据中获取我们感兴趣的信息（步骤4）。这是通过查询来实现的，大多数情况下使用 SQL 查询语言来实现此目的。由于其简单性，SQL 已成为查询数据的标准。一些大公司（例如 Facebook）为此使用自己的特殊工具。在这两种情况下，这些工具都会向数据库发送查询，并将收到的数据以可视方式（图形、图表、动画等）呈现给用户。这些用户包括数据 分析师、业务分析师、产品经理等。所有这些都可以从数据库中获取对业务重要的许多问题的答案，从而帮助企业做出有效的决策。对于大多数公司来说，没有必要超出数据层次结构的这一级别。有用且经过清理的数据确实可以提供大量商机。

打下如此坚实的基础后，我们可以在其上

创建一个“ A/B 测试”框架（步骤 5）。借助这个框架，企业可以提前了解其想要对其产品进行的哪些更改将受到用户的积极欢迎（例如：如果我们将页面上 那么，您想要更多客户吗？我们也是！ 喜欢”按钮的颜色从蓝色更改为蓝色（选项A) 变为绿色（选项 B），用户“点击”次数是否会增加）？此外，我们可以使用简单的机器学习算法来预测用户在某些情况下的行为。只有当简单的机器学习算法无法解决我们面前的问题时，我们才能考虑人工智能和深度学习技术（步骤6）。 A/B 测试、机器学习、人工智能和深度学习都是数据 科学家擅长的领域。

因此，我们通过“数据科学需求层次结构”的所有步骤，研究了数据科学家、数据分析师和数据工程师所执行的各种功能。

很明显，所有这些专家都处于“数据层

次结构”的不同级别，并且处于单个流程的不同阶段。因此，他们的知识和技能应该相当多样化。

数据工程师应该拥有数据科学学士学位或丰富的数据工作经验。深入了解编程、数据架构和 SQL；编写数据管道、创建和集成 API 的技能是成为数据工程师的先决条件。

对数据分析师的需求相对较低，导致许多人开始从事数 领导 据科学职业。数据分析师应该具有中等水平的统计知识。他还应该能够使用简单的编程语言（例如 Python 或 R）编写脚本和代码、创建 SQL 查询、分析数值数据并发现现有规律、准备图表和图表。

由于数据科学家负责分析和解释复杂和混合类型的数据（数字、文本等），因此该职位的候选人必须具有深入的数学和统计分析知识。此外，他们应该对机器 数据分析师 和 学习和深度学习有透彻的了解。由于数据科学家直接参与业务决策，因此他还必须非常熟悉业务的要求及其运营环境。那些想要从事这一职位的人通常通过完成相关的硕士学位课程来进入职业道路。

结果最后，我们应该再次提到，由于

数据科学是一个新领域，因此对于数据科学家、数据分析师和数据工程师在业务环境中的角色尚未达成完全共识。因此，招聘公司对同一个职位空缺有不同的要求。因此，建议在该领域寻找工作的专业人士在申请工作之前仔细阅读雇主制定的工作职责，并准确了解他们将在潜在的工作场所做什么。