博客

【求职分享】

【笔试/面试】

Flink与金融科技:以实时反欺诈系统为例

Feb 03,2023

分享本文:

【概要】在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力,这也带来大量的金融欺诈行为。

大家好, 我是Lucy@FinTech社区。今天的文章将以实时反欺诈系统为例,带大家了解Flink与金融科技。欢迎大家扫描二维码,加入FinTech社区,提认知,攒人脉,求职招聘!

图片图片

 

大数据时代,数据与金融的碰撞越来越激烈;实时计算、流计算、分布式系统等新兴技术在金融科技领域方兴未艾。

 

今天我们就带领大家了解一下,当实时计算应用到反欺诈系统,会擦出什么样的火花。通过本篇文章,你将会学习到:

 

  • 什么是反欺诈系统?

  • 什么是Flink?

  • 为什么选择Flink?

 

01 什么是反欺诈系统? 

 

在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力,这也带来大量的金融欺诈行为。

 

常见的金融欺诈场景有三类:

 

  • 一是材料伪造。这是早年需要提交纸质材料时期常见的欺诈;

  • 二是“养号”,常见于中介机构,通过收取服务费来维护大量号的健康状态,卖给有欺诈意向的用户进行贷款申请;

  • 三是来自于专业黑客的威胁,他们通过寻找系统、流程的漏洞等方式,对账号安全构成攻击。

 

下图为银行系统反欺诈系统的示意图:

 

图片

 

如上图所示,金融科技因其虚拟性特征,主要风险集中在两方面:一是欺诈风险,二是信用风险

 

因此核心的风险评估流程就是反欺诈和信用评估

 

对于反欺诈而言,信息核实、高危人群拦截和实时计算、识别、决策是其核心风控手段。而对于信用风险的评估,需要内外兼修。

 

02 Flink技术简析

 

Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。

 

Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。

 

由于Flink具有良好的实时性,所以Flink技术在大数据领域得到了极快的发展与应用。

下图为Flink的技术栈与基础架构:

 

图片

 

图片

 

从现如今的大数据计算趋势来看,批处理和流处理是主流都非常重视的,也是实际大数据应用场景当中的持续性需求。

 

所以,我们从上图可以看出,Flink框架本质上来说是流引擎,但是在实际工作当中,实现了流处理和批处理的统一

 

Flink将批处理看作是一种特殊的流处理,也就是有边界的数据流,基于这样的思想,Flink能够实现业内延迟性较低的流数据+批数据计算

 

03 Why Flink?

 

3.1 实时反欺诈的难点

 

目前,在线实时反欺诈会面临各类痛点,主要痛点集中在以下三方面:

 

一是低延时要求。越是大量数据需要计算,所需时间越长。在网贷盛行的年代,甚至有的公司打出“一分钟授信,半分钟放款”的口号。

 

二是超大规模实时计算要求。大数据场景中,需要对大规模数据做到实时计算,实时平台中用户的行为改变会导致数据发生变化,进而影响决策。因此对超大规模数据的实时计算需求越来越高,确保用户在出现欺诈行为时能够及时中止交易。

 

三是多维度、高并发要求。随着同一业务场景下用户规模的扩增,用户产生的数据也形成爆发性增长。在金融场景下需要按照数据各个维度分析得出风险评估报告,根据用户特性挖掘用户潜在需求。

 

3.2 Flink技术的优势

 

从时延和吞吐量的角度:Flink 是纯粹的流式设计。流式大数据技术的计算是逻辑先行,即先定义计算逻辑,当数据流过时,实时计算并保留计算结果;当需要使用数据时,直接调用计算结果即可,无需再次计算。

 

与别的计算技术相比较;Flink 吞吐量约为 Storm 的 3~5 倍,且Flink 在满吞吐时的延迟约为 Storm 的一半。综合来看,Flink 框架本身性能优于 Storm

 

从与现有生态体系结合的角度:Flink 与超大型计算和存储(HBase)的结合比 Spark 和 Storm 要好很多,同时接口也更友好,更加方便用户的使用

下图为Flink处理数据流的示意图:

 

图片

 

总的来说,Flink 是一个设计良好的框架。它不但功能强大,而且性能出色

 

此外它还有一些比较好的设计,比如良好的内存管理和流控。这些都有助于Flink技术在反欺诈系统中发挥作用。

 

3.3 基于Flink的反欺诈系统的设计

 

基于 Flink 的超大规模在线实时反欺诈系统的架构主要分为两大部分:数据部分和决策部分

 

整个系统的运作相当于一个工作流,用户的数据信息以流的形式由一个节点传到下一个节点,在流转过程中会产生大量的决策信息,根据条件做出筛选和判断,并把判断结果快速推行到下一个节点,从而实时判断用户的数据情况,进而决定是否放款给用户。

 

下图为系统架构示意图:

 

图片

 

在大数据时代,数据的质量直接影响大数据分析处理方法的效果,也影响决策过程

 

通过分析海量数据,可以从中发现数据集中隐含的模式和规律。所以,通过大规模实时反欺诈系统的建立,可以有效降低金融机构的资金风险

 

本期的内容就到这里,希望大家有所收获!欢迎大家添加微信:fintech78,加入FinTech社区一起讨论!

 

 

 

写一篇评论

发表评论
%{tishi_zhanwei}%
博客留言测试

Dec 20,2022

< 1 >