基于实时计算Flink的机器学习算法平台及场景介绍

简介:后疫情时代的新社会模式及经济形态必将催生出新的商业模式,在线业务及相关应用场景的流量呈现井喷式发展,常规的离线系统及离线机器学习平台已无法满足业务发展要求。

1. 前言

随着互联网“% ; A d + 6人口红利”的“消耗殆尽”,基于“T+1”或者离线计算的机器学习平台及推荐系统转化率与效果日趋“平淡”。后疫情时代的新社会模式及经济# 4 f t z A @ Q I形态必将催生出新的商业模式,在线业务及相关应用场景的$ k h t L v y 9流量呈现井喷式发展,常规的离线系统及离线机器学习平台已无法满足业务发展要求。人口红利吃尽之后,基于大数据及AI平台的业务系统在时间维度上的思考将变得至关重要,通过业务系统实时化向时间要价值已经成为主流趋势0 / ( q C。基于流式计算引擎的在线机器学习平台将越来越被重视, 通过增量模型A 7 }的准实时或实时推荐系统i / ` (更能“C ! C T 4 H S R %因时而异” 充分捕捉目标用户瞬息万变的需求,从而进行精准推荐和变现。实时推荐系统也从最早的, I m / 3 C电商场景, 扩展到社交场景, 在线教育场景, 游戏场景及更广阔的在线场景。

本文介绍重点介绍基于阿里云大数据及AI产品O T ;家族的实时计算Flink及PAI Alink机器学习算法平台,以及该产品组合在实时推荐场景(适用于电商、游戏及在线教育解决方案)、实L w M j 0 p s时评分卡场景(适用于金融、安全及营销C # : i d , X风控解决方案)以及异常] : -检测场景(适用于工业领域及其他产S : o业互联网领域)的场景应用。

2. 实时计算引擎及机器学习算法平台介绍

2.+ c ? V g1 阿里云实时计算Flinkv L ? g [ W h

阿里云实时计算Flink作为Apache Flink. - [ G f 0 q创始团队的商F | N X T n业化产品,从极致(较P V N Z z B传统微批模式)的实时数据处理维度,为企业大数据处理及业务实时化提供了可能。商业化的统一开 w a Q ~ 5 x 6发及管控平台,成熟、准标准化的SQL及元数据管理能力,让业务人员及数据分析师大幅度提升开发效率, SQL配合UDU o { C b 5 $ XF基本可以解决80%+的业务场景。企业级的State BC N 9ackende T r g – GW A ! B 7 % :emini大幅度提升N : s eIO效率,整体执行引擎较开源3倍以上的性能提升。

基于实时计算Flink的机器学习算法平台及场景介绍

基于阿里云Kubernetes的全新Serverless全托管云上实时计算Flink服务,使用全新的硬多租技术方案,基于VPC提供网络层隔离,阿里云安全容器提供计算层隔离,基于弹性云盘提供存储级隔离,通过用户级Master及超级Master实现极致资源弹性下的多租户隔离。基于负载的细粒度弹性伸缩, 充分提高资源使用率, 降低整体TCO。新2 V N 6 v ~ R _ 一代的Serverless实时计算Flink产品为在线机器学习算法平台提供了坚实(“时“)的基础。

基于实时计算Flink的机器学习算法平台及场景介绍

2.2 阿里云PAI Alink机器学习算法平台

基于实时计算Flink的机器学习算法平台及场景介绍

与SparkML算法相比, s + ~ q . ? ]Alink算法更全面,性能更优异,场景更丰富(同f C a 2时支持d 1 Z x流批),本地化更出色(支持中文分词)是快速搭建在线机器学习系统的不二之选。O # 5 m D ` (

基于实时计算Flink的机器学习算法平台及场景介绍

3. 基于实时计算Flink-机器学习场景介绍:

3.1实时推荐场景:

从根据用户点击和浏览的内容实时推送的电商场景,到社交媒体根据用户阅读的内容实时“喂送“的实时推荐系统,再到游戏推送平台根据用户行为实d 8 O W 6 )时推送的游戏系统,实时推荐系统俨然已经成为了在线业务系统$ W i R的核心。

基于实时计算Flink的机器学习算法平台及场景介绍

阿里云PAI Alink算法平台提供: 召回(例如:ALS、FM、Deep Walk等),特征编码(OneHot、MultiHot及GBDT等) ,排序(LR及FFM等)以及Online算法(OnlineFM及Ftrl)流式和批式的算法D } Y D 7 ? a能力全流程构建能力。配合阿里云实时计算Flink海量样本实时拼接能力,能够快速* 1 N f 7 !端到端实现离在线一体化的推荐系统。

基于实时计算Flink的机器学习算法平台及场景介绍

通过特征工程批式训练初始化模型,通过实时样本拼接配合流式算法(Onlb g _ Z `ineFM及Ftrl) 生成增量的模型,N r A q d 3 J最终提供统一模型的整体结果预测,更实时更动态的提升推荐效果。

基于实时计算Flink的机器学习算法平台及场景介绍

3.2 评分卡场景介绍:

阿里云实时计W M ~算Flink及PAI Alink产品组合可以帮助客户快速搭建实时金融风控解决方案。评分卡在金融场景有广泛的应用,能否构建准确的评分卡模型关系到能否安全的开展支付、贷款、保险、理财、信用等业务,评分卡常被用于信用评估领域,比如信用卡风险评估,贷款发放;评& & - , ] J l分卡也会用来作为分数评估,比如客户质量打分,信用分。涉及金融的场景都需要:可追溯、可审计及可解释,如/ I b下的评分卡模型就具备很好的可解释性。+ s b例如:用户年龄27岁,性别男,婚姻状况已婚,学历本科,月收入10000。根据如下评分卡,该用户的评分为:评分 = 223(基$ P G N $ v % | b准分) + 8(年龄) + 4(性别H & R !评分)+ 8(i ! 7婚姻状况)+ 8(学历评分)+ 13(月收入评分)= 264分。 0 z v w ! b s &

基于实时计算Flink的机器学习算法平台及场景介绍

阿里云实时计算Flink及PAI Alink产品组合提供最先进的评分卡解决方案, 分箱将每个特征按照需求进行分箱训练;评分卡训练生成评+ m 1 , S P F v _分模型;样本稳定性通过PSI等~ { m F } P i指标衡量样本稳定性;模型评估,评估二分类模型效果i L q O H。该解决方案支持多特征维度模型训练,支持大规模样本建模。

基于实时计算Flink的机器学习算法平台及场景介绍

3.3 异常检测场景

异常检测及时序分析是一个较为常见并 E m / n x { 1 7且应用广泛的场景,在工业界的应用尤甚。利用阿里云实时计算Flink及 a t a l 5 WP[ F 7AI Alink产品组合可以帮助客户快i } 6 X d y - R速搭s 9 P 1 ) j u -建异常检测解; 5 /决方案。实时计算Flink强大的性能与Alink丰富的算) n ~ i B + D x法库机相结合,可以帮助数据分析和应用开发人员实现数据处理、特征工程、模型训练、预测等多个环节端到端的处理。在异常检测场景下,Alink支持时间序列异常检y x q测、异常集检测两个核心场景。

在时间序列异常检测中,Alink具_ ] 2 8 B O备种类齐全T J { m q j c ]、批流一体、性能优异、并行计算、使用方便等优势。针对不同的使用场景,分为基于时序预测和时序分解两种N e Q z x类型:

  • 时序预测算法适合流式数{ # c = R x i据,即^ V A L k时响应
  • 时序分解算法适合全量数据,能够从全量数据中挖掘有效信息p * w } b ! a K

Alink也提供了时序预测和时序分解算法,用户可以单独使用。

基于实时计算Flink的机器学习算法平台及场景介绍

异常集检测是风控场景的核心诉求之一。Alink 异常集检测中具备如下优势:^ h ` F t

  • 巨型图支持 - 支持上亿边的图数据9 ) C
  • 在线更新 - 随时加上异常种子均可局部异常检测
  • 快速运s ! ? f算 - 只对局部图进行运算,u _ r K ^节约计算资源

在盗用、欺诈、作弊、商户、借贷套现等各风险域都有异常集检测的U w . $需求存在。基于GraphRAD,Alink实现了半监督的异常集检测,RiskCommunityDetector。算法输入连接关系以及已知的黑点,即可对全图进行分析,捕获其它黑用户,t B h e Z X降低业务运行过程中的风险,为业务安全保驾护s l i航,避免可能发生的重大损失。

基于实时计算Flink的机器学习算法平台及场景介绍

4. 后记

通过上文的介绍,想必大家已经对阿里云实时计算Fli w } 7 v )nk及PAI产品组合跃跃欲试了,可以快速开通全托管实时计算Flink 体验最新的S4 C H u [ t / | merverless产品服务。

基于实时计算Flink的机器学习算法平台及场景介绍

6 4 p l过开通阿里s # S ` f !云E-Mag * + vpReduce Dataflow集群,快速搭建基于阿里云实时s P ; | ~ + / [计算Flink的PAI Alink算法平台。

基于实时计算Flink的机器学习算法平台及场景介绍

作者:高旸(吾与),阿里巴巴高级技术专家

本文为* ? h r阿里云原创内容,未经允许不得转载。