Spark性能调优实战

百度网盘课程

通用入口链接！10000G.课程都有！一起学习吧！

立即点击↓ 获取课程！

Spark性能调优实战 吴磊 极客时间课程百度网盘下载

01 | 性能调优的必要性：Spark本身就很快，为啥还需要我调优？

02 | 性能调优的本质：调优的手段五花八门，该从哪里入手？

原理篇 (5讲)



03 | RDD：为什么你必须要理解弹性分布式数据集？

04 | DAG与流水线：到底啥叫“内存计算”？

05 | 调度系统：“数据不动代码动”到底是什么意思？

06 | 存储系统：空间换时间，还是时间换空间？

07 | 内存管理基础：Spark如何高效利用有限的内存空间？

通用性能调优篇 (12讲)



Spark SQL 性能调优篇 (12讲)



结束语 (2讲)



推荐试读

05 | 调度系统：“数据不动代码动”到底是什么意思？

07 | 内存管理基础：Spark如何高效利用有限的内存空间？

09 | 调优一筹莫展，配置项速查手册

由于专业、工作性质和工作特点不同，因而人才考梭方 法是多种多样的。但概括起来，可分为一般方法和具体方 法领导与群众相结合的方法。这是我国干部考核的有效 方法之一。对于一个人才的德才情况、工作表现、实绩懞 况、贡献情况等群众最了解，因此，在考核时，要广开渠道，充分听取群众的意见。在此基础上，综合群众评并 根据曰常掌琿的: . 情伢，经过分析，去伪存真，对。个人才敗 出较为客观的评价，从而确定优劣。这种方由具在贯彻时， 可采取个人总结进行自我评价I然后由同行群众针对其总结 进行评议；再由主管考核人员写出评语，最后根据考核标准 确定等级。对于各级领导人才的考核还应采取民主评议的方 法。只有这样才能得到广大群灸的支持和信赖，才能树立领 导在群众中的权威性。因此，民主考评法不仅对完善干部考核 体系，而耳对干部管理系统功能的发挥，都具有十分重要的 意义。但民主评议领导人才的方法不能简单和草率地进行， 而要尽量体现考核的五种功能。有的地方考评领导人才，只 用简单投票划圈的方法进行，有的虽然有文字说但并不 作硬性要求。就凭!投票结果来确定一个领导人才的优秀、称 职、基本称职和不称职。这种做法在群众觉悟程度较髙、革 命责任心较强的情况下是可以收到预期效果的，但在目前的 社会主义初级阶段，人们的觉悟水平不太高的情况下，就必 然出现人情票、感情票。所以，“老好人”往往得票情况较 好，而敢于负责、正直果断、敢说敢为的领导，往往得票情 祝就相对不好。这往往会挫伤人的积极性，打击人的开拓负 责精神。因此，现阶段的民主评议最好采取多项写实的方 法，指出不足，举出实例，根据实际做出各项的结论，最 后，根据各项结论，进行综合分析，对一个领导人才作出全 面客观的评价。

2, 定性考梭与定量考核相结合的方法。定性考核是我国 传统的考梭方法，有广泛的基础和僉理性。但定性考核受考 核者个人素质和主观认识的影响较大，尤其当考核者素质不

高，经验不足，判断分析力不强，知识面狭窄时，考核结果误二 差就更大。因此，定量考核相对来说就比较科学化》它能够 较好地排除人为因素和主观因素的干扰和影响，能较好地做 到实事求是和准确合理，使考核更直观、.更具体。但有些5T 目可以采用定量方法，有的就不宜用定量的方法，如政治素 质的考梭，道德品质的考核等。因此对各类人才的考核应取 定性考梭与定量考梭相结合的方法，二者互为补充，取长补 短，充分发挥两种考梭方法的综合效能，只有这样，才能准 确地反映考核对象的全貌，保证考核结果的公正性，使考梭 更加完善可靠。

3, 定斯考梭与平时考核相结合的方法。定期考核是按一 定的时间和既定的项目对人才进行考梭，平时考核是在定期 考核的基础上，一般在工作需要或领导认为有必要时进行。 它可以全面地掌握人才的平时表现。定期考核与平时考核各 有其特点，只有将两者结合起来，才能摆脱从人才的一时一 事作出评价的作法，也才能从人才的一贯表现中得出更准确 的考核结果。