Apache Flink 漫谈系列 - SQL概览

我们自定义的Source要携带我们测试的数据，以及对应WaterMark数据，具体如下：

class MyTableSource extends StreamTableSource[Row] with DefinedRowtimeAttributes { 
 
val fieldNames = Array("accessTime", "region", "userId") 
val schema = new TableSchema(fieldNames, Array(Types.SQL_TIMESTAMP, Types.STRING, Types.STRING)) 
val rowType = new RowTypeInfo( 
Array(Types.LONG, Types.STRING, Types.STRING).asInstanceOf[Array[TypeInformation[_]]], 
fieldNames) 
 
// 页面访问表数据 rows with timestamps and watermarks 
val data = Seq( 
Left(1510365660000L, Row.of(new JLong(1510365660000L), "ShangHai", "U0010")), 
Right(1510365660000L), 
Left(1510365660000L, Row.of(new JLong(1510365660000L), "BeiJing", "U1001")), 
Right(1510365660000L), 
Left(1510366200000L, Row.of(new JLong(1510366200000L), "BeiJing", "U2032")), 
Right(1510366200000L), 
Left(1510366260000L, Row.of(new JLong(1510366260000L), "BeiJing", "U1100")), 
Right(1510366260000L), 
Left(1510373400000L, Row.of(new JLong(1510373400000L), "ShangHai", "U0011")), 
Right(1510373400000L) 
) 
 
override def getRowtimeAttributeDescriptors: util.List[RowtimeAttributeDescriptor] = { 
Collections.singletonList(new RowtimeAttributeDescriptor( 
"accessTime", 
new ExistingField("accessTime"), 
PreserveWatermarks.INSTANCE)) 
} 
 
override def getDataStream(execEnv: StreamExecutionEnvironment): DataStream[Row] = { 
execEnv.addSource(new MySourceFunction[Row](data)).setParallelism(1).returns(rowType) 
} 
 
override def getReturnType: TypeInformation[Row] = rowType 
 
override def getTableSchema: TableSchema = schema 
 
} 

2. Sink 定义

（编辑：惠州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!