techff

  • 1122 主题
  • 1155 帖子
  • 2506 积分
  • 身份:LV5 资深技术员
  • 论坛新秀 灌水之王
  • E币:695

数据工程师的5本好教材

2021-3-3 15:19:25 显示全部楼层
大约三年前,我开始了作为数据工程师的IT职业生涯,并尝试找出关于数据平台的日常解决方案。我一直希望在这一领域有大学教科书一样的资源,也一直在寻找。

这篇文章中,我将分享5本帮助我大概了解数据工程的书,可以让我在不确定的时候回去查阅。因为有很多本,所以我建立了一个框架,帮助你选择最适合自己的那本,并且就每本而言分享一些看法。

从哪开始呢?

我设置了两个因素,其一是“技术概念——实用性”,这意味着它是处理一般的实现概念还是具体的实现(或API),另一个是“一般性vs数据上下文性”。根据这两项因素绘制的图表如下:
b795abbb2b5249a18817aa263f09b5d0?from=pc.jpg
下面是推荐书目及原因:

· I Hearts Logs,作者Jay Kreps:

这本书解释了日志在分布式环境中的作用。字数不多,但阅读后可以掌握数据系统(数据库或分布式数据系统,如Kafka)的核心概念。

· Designing Data-Intensive Applications,作者Martin Kleppmann:

该书讲述了如数据模型、分布式系统(如两阶段锁定)等数据系统的核心概念,以及数据处理的批处理和流式传输。

· Rebuilding Reliable Data Pipelines Through ModernTools,作者Ted Malaska:

如果你的大部分经历都与数据无关,这本书会是很好的入门书籍,引领你理解数据领域都在发生什么。该书涵盖了数据环境中的利益相关者、数据流水线、常见问题(其中许多都与数据环境相关)等内容。

· Expert Hadoop Administration,作者Sam R. Alapati:

其实关于Hadoop还有一本很好的Oreilly图书,但是我选择了这一本,原因是在过去的一年里,每当我需要一些答案时,都会一遍又一遍地阅读这本书。

· Architecting Modern Data Platform,作者Jan Kunigk, Ian Buss, Paul Wilkinson, Lars George:

这是一本含有奇妙图像的好书。与上一本相比,这本更侧重外部Hadoop服务(服务器内存、CPU规格或网络带宽要求等)。

每本书的主要内容

有的书比较短,有的书需要具备一定水平才能读懂。你可以选择适合自己的那本开始阅读。

· I Hearts Logs (~ 50页)
70ce453d4b994d81ab565fd8e8dbd479?from=pc.jpg
作者Jay Kreps是Kafka和Samza的开发者之一,他说:我们通常以网络服务器(如Nginx)的形式感知日志,日志在数据库和分布式系统中起着核心作用,与其他替代方案相比,它在以日志为中心的设计和共识方面具有许多优势。

他还举了一些实例:“数据集成”、“实时数据处理”和“分布式系统设计”。其中之一是日志作为“单一真实来源”的作用,在许多“写”系统和“读”系统之间以集成日志的形式存在,使两者的耦合失效。

我把这本书放在首位,你可以运用Jay Kreps的观点进入另一个分布式数据系统,简化它们的基本架构。

· Designing Data-Intensive Applications (~ 550 页)
ab5ec0d786174cd7b0e4eb1746c387fa?from=pc.jpg
你肯定都听说过这本书。它涵盖了核心概念及其常见的实现,从早期的数据系统(RDB、NoSQL)到分布式环境(Hadoop等)。

核心概念通常会让你怀疑自己对它们的理解。在这本书中,以下核心概念得到了全面的解释:数据模型、数据结构、数据库或复制的编码和模式演化、分区、事务、分布式系统的主要问题。

这本书给了你一个新的视角,而不是仅仅告诉你如何在Hadoop上使用Lambda架构。就我个人而言,每当概念不清时,我会经常回看这本书。

· Rebuilding Reliable Data Pipelines Through ModernTools (~100 页)
92f37bd9a3f54903a8c7f5231fddc43f?from=pc.jpg
这本书在Unravel网站上是免费的,通过阅读这本书,你可以知道谁是数据环境中的利益相关者,以及数据ETL(提取、转换、加载)的前景如何。书中使用了许多简单的隐喻,但足够实用,你可以在书中描述的环境中体验作为一名数据工程师的感觉。

· Expert Hadoop Administration (~ 750页)
96fb60ad787f4a52bec7b26e80d47d0d?from=pc.jpg
对于那些在Hadoop服务中艰苦奋斗的专业人士来说,很难找到有价值的资源来解决实际问题,包括HDFS、Yarn、Oozie、Sqoop等。

如果你遇到类似“安装HDFS时,需要什么样的服务器配置和规格”、“如何优化Yarn内存和CPU使用率”等问题,这本又厚又详细的书会是一个很好的参考,你可以先去看看。

如果你觉得这本书的内容有点多,可以只看HDFS,Yarn,Spark架构这几个部分(~ 351页),当你需要更多知识的时候再回头来看其他部分。

· Architecting Modern Data Platforms (~ 600页)
631c8fc1868645b69304b4c96720384b?from=pc.jpg
这本书有大量关于Hadoop堆栈的技术资源,这些资源可用于构建一个可扩展的数据中心。前面那本书侧重于Hadoop服务的特性,而这本书主讲服务外部主题:Hadoop环境的服务器、网络和操作系统规范,以及虚拟化等。

对于那些对Hadoop堆栈有点兴趣并想了解更多关于“Yarn应用程序中的虚拟核心对应于物理核心还是虚拟核心(在虚拟环境中)”以及“文件系统驱动程序(etx3、ext4)或页面缓存设置如何影响HDFS性能” 的人来说,这本书是满足好奇心的无价资源。

您需要登录后才可以评论 登录 | 立即注册

最新评论

楼层直达:

火引冰薪

  • 221 主题
  • 620 帖子
  • 2863 积分
  • 身份:版主
  • 论坛新秀 灌水之王
  • E币:2486
火引冰薪 2021-3-7 09:55:45 显示全部楼层
Hadoop堆栈未来的发展怎么样,理解数据领域的关键
快速回复
1
3
广告
关闭 热点推荐上一条 /5 下一条
快速回复 返回列表