对Spark的那些【魔改】

发布时间：2018-08-18 11:12:25 所属栏目：教程来源：祝威廉

导读：副标题#e# 技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战前言这两年做 streamingpro 时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。

调用的是ClosureCleaner.clean方法，该方法里是这么调用学序列化的：

try { 
      if (SparkEnv.get != null) { 
        SparkEnv.get.closureSerializer.newInstance().serialize(func) 
      } 
    } catch { 
      case ex: Exception => throw new SparkException("Task not serializable", ex) 
    }

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!

5/8

首页

尾页