Spark性能调优与原理分析

作者: 吕云翔 郭宇光

出版社: 清华大学出版社

出版日期: 2020-09-01

电子书 ¥45.43 定价:69.9
  • 收藏

  • 加书架

  • 引用

简介

本书主要介绍了Spark运行原理及性能调优的相关实践, 从Spark框架内部及外部运行环境等不同角度分析Spark性能调优的过程。 第1章介绍了Linux系统中各种监控工具的使用,对CPU、内存、网络、I/O等方面进行介绍, 并提供了集群监控报警的解决方案。 第2章介绍了Java虚拟机(JVM)的基本知识、垃圾回收机制,以及对JVM运行状态的监控。 第3章和第4章介绍了Spark内核架构、任务运行的流程,对各个组件的实现进行了深入的剖析。尤其在Spark 内存管理、存储原理、Shuffle阶段,详细介绍了每个实现的细节,这些实现的细节为后期Spark性能调优提供了参数调节的理论依据。 第5章介绍了Spark性能调优的详细实践过程,首先介绍了SparkUI和Spark日志的使用,通过这两项可以迅速定位瓶颈问题; 然后根据定位的问题,分别从程序调优、资源调优、Shuffle过程调优等不同角度介绍了调优的实践过程。 本书在理论部分提供了大量的概念原理图、运行流程图,在实践部分提供了大量的示例。让读者对性能的调节不 仅停留在参数调节的层面,而且能理解每个参数的修改对程序的内部运行产生 的影响。 本书既可以作为Spark开发者的参考用书,也可以作为高等院校计算机与软件相关专业的教材。

编辑推荐

本书以Spark内部实现原理为指导,使用了大量图表来描述Spark各个环节的运行过程,对其运行过程中的每个组件进行详细剖析。以理论指导各种参数的调节,以结果证明理论的正确性。本书各个章节的理论分析能够使读者更加快速的定位程序运行的瓶颈,解决实际生产中的问题。本书配有教学课件、教学大纲等丰富的配套资源。本书具有目标针对性强、内容与时俱进、理论结合实践等特点。本书既可以作为Spark开发者学习指导、深入理解Spark内核、调优实践的参考,也可以作为高等院校计算机与软件相关专业的教材。

更多出版物信息
  • 版权: 清华大学出版社
  • 出版: 2020-09-01
  • 作者:吕云翔 郭宇光
  • 更新: 2023-06-07
  • 书号:9787302555094
  • 中图:TP274
  • 学科:
    工学
    控制科学与工程
    工学
    计算机科学与技术

相关图书