检查点对Apache Spark有什么作用,它是否对RAM或CPU有任何影响?
来自Apache流文档——希望有所帮助:
流式应用程序必须全天候运行,因此必须能够抵御与应用程序逻辑无关的故障(例如,系统故障、JVM崩溃等)。为了实现这一点,Spark Streaming需要检查容错存储系统的足够信息,以便从故障中恢复。有两种类型的数据被检查点。
总而言之,元数据检查点主要用于从驱动程序故障中恢复,而如果使用有状态转换,即使是基本功能也需要数据或RDD检查点。