/ 2018-09-26
下一代waf应该往更智能化方向演进。
毫无疑问，在应对复杂多变的应用层攻击时，waf产品作为抵御应用层攻击强有力的工具，依旧是众多企业用户的首选。然而，一方面攻击手段不断增加，另一方面，企业应用正变得越来越复杂，传统waf要为企业应用提供防护也变得越来越力不从心。不少企业开始对waf威胁识别的准确性、抵御攻击的能力感到失望。
从现有waf产品的工作原理分析，不难发现，导致这一结果的根本原因，是当前传统waf产品所采用的规则检测引擎和正则表达式匹配方式，面对现在复杂多变的web应用攻击时，处理性能及攻击检测和拦截的方法上，存在明显的不足。
传统waf防御引擎弊端突显
随着应用的不断丰富，网络中的应用层流量越来越多，而传统waf设备在进行安全防御时，需要对全部流量进行安全检测，这种全流量检测模式就造成了waf设备处理性能存在瓶颈问题的根本原因。全流量检测就是不管流量是好是坏，都需要设备对其进行拆包、还原、特征比对等，极大的消耗了设备性能。
2、业务内容无法有效解析、难以深入分析
黑客在发起应用层攻击时，传统waf设备首先会对应用流量进行内容解析并还原，比如黑客攻击的是iis、apache、weblogic等组件，waf设备会依托于内容还原引擎去解析所有的组件的内容，识别攻击流量是否是针对该组件，业务内容解析及还原能力是否够强，直接影响应用层威胁的检测结果。在业务内容解析环境，waf面临的最大的难度就是如何全面覆盖客户环境中异构的、不同版本的各种组件。
一般来说，用户环境中存在异构的、不同版本的各种组件。需要安全厂商进行持续的攻防研究与攻防演练，并持续更新迭代。然而不同厂商在业务内容还原的能力上参差不齐，这就导致了传统waf设备无法有效保障服务器的组件能够被全部识别并被有效还原。当黑客针对性发起攻击时，就会存在被绕过的风险。
3、web威胁无法精准识别、无法保证误报率和漏报率
waf产品的误判和漏判情况，也是使用者普遍关注的问题之一，误判产生的本质原因在于攻击流量和业务流量的相似性，而漏判则是在于攻击数据的伪装，使得waf无法精准识别。
当前的waf设备在技术手段上所采用的正则匹配方式相对单一，依靠静态固化的规则无法有效应对各种变种的应用层威胁。特征检测机制会从零散分布在正常业务语句中的特征进行判断，如业务中的一些业务语句、句子甚至文章往往被认为是攻击特征，从而导致误判；而利用各种编码及攻击混淆手段进行的攻击语句，往往能够伪装成正常流量，绕过waf的规则判断。
下一代waf防御引擎
1、以流量深度学习能力，全面提升设备处理效能
通过引入机器学习，在流量层采集白流量的特征，使合法流量可以快速通行，实现设备性能的翻倍提升。
深信服下一代防火墙在waf引擎上采用白流量过滤，基于应用层交互内容进行深度学习，在这个层次上建立深入的流量学习模型，对各种网页元素、参数进行监测、学习、对比，整个过程由设备的自学习功能完成，无需人工干预，同时可以根据web流量的变化进行自适应调整，建立白流量过滤能力，如果流量中有明显偏离正常流量模式，则将其导入到后续的安全检测流程进行处理，保证合法流量可以快速通行。这就好比机场的安检机，识别到包含违禁物品的包裹后，进行开箱查看，正常包裹直接通过，相比传统waf架构的逐一开箱检查，极大的提高处理效率。
2、以业务智能融合引擎，融合业务解析及还原能力
深信服af通过业务智能融合引擎，智能匹配业务环境，根据业务特征动态匹配解析及还原能力，具备适应各种后端业务的能力，能够快速将业务相关内容还原，再在进行安全检测，全面应对各种各样的攻击。例如下面这个sql注入攻击语句：
post
/cms/supesite/personcard.php?uid=49 and 1=2 union select 1,password,3,4,5 from adminhttp/1.1
因为iis默认支持对%u编码的解码功能，所以这一段数据最终被还原成：
post
/cms/supesite/personcard.php?uid=49 and 1=2 union select 1,password,3,4,5 from adminhttp/1.1
导致该语句可以成功在iis服务器上被执行，从而对应用服务器造成攻击。而深信服af业务智能融合的解析引擎，可以准确识别攻击使用的混淆方法，从而对其进行解析，检测并进行拦截。对比传统waf的防御方式，如果waf不具备这种业务适配能力的话，无法正确以对应的业务环境对该语句进行解析和还原，将无法有效识别来该攻击，黑客就可以绕过waf，从而攻击后端的业务服务器。
除了业务智能融合引擎之外，深信服af也在传统技术上做到极致，通过对大量用户业务环境的持续攻防演练，充分了解用户业务的特点及响应方式，将该业务解析的能力全面迁移到waf中，实现对业务内容的深度还原。
3、以威胁深度检测引擎，精准识别web威胁
深信服af的威胁深度检测引擎融合词法、语法算法并全面采用人工智能对威胁进行深度分析，可以全面应对传真实环境中复杂的业务环境、业务数据、开发方法等，第一时间定位并处理掉异常行为。
一方面，通过云端的大数据，生成大量的攻击序列及合法序列，进行有监督学习，用大量已知的攻击样本生成攻击数据模型，然后通过这些模型来预测其他未知的攻击方式。通过这种方式训练出来的ai引擎，即可以防住变化多端的攻击，也能够在waf上线后通过对业务的持续学习，自动排除误判。
另一方面，基于人工智能技术通过有监督和无监督的结合，无监督掌握业务的正常模式，有监督可以掌握攻击的特征，通过人为的标注，进行数据泛化，这样的互补可以更好地精准识别业务流中的攻击。
毫无疑问，在应对复杂多变的应用层攻击时，waf产品作为抵御应用层攻击强有力的工具，依旧是众多企业用户的首选。然而，一方面攻击手段不断增加，另一方面，企业应用正变得越来越复杂，传统waf要为企业应用提供防护也变得越来越力不从心。不少企业开始对waf威胁识别的准确性、抵御攻击的能力感到失望。
从现有waf产品的工作原理分析，不难发现，导致这一结果的根本原因，是当前传统waf产品所采用的规则检测引擎和正则表达式匹配方式，面对现在复杂多变的web应用攻击时，处理性能及攻击检测和拦截的方法上，存在明显的不足。
传统waf防御引擎弊端突显
传统的waf防御体系存在性能差、漏判、误判率高等特征。
传统规则引擎的弊端
随着应用的不断丰富，网络中的应用层流量越来越多，而传统waf设备在进行安全防御时，需要对全部流量进行安全检测，这种全流量检测模式就造成了waf设备处理性能存在瓶颈问题的根本原因。全流量检测就是不管流量是好是坏，都需要设备对其进行拆包、还原、特征比对等，极大的消耗了设备性能。
2、业务内容无法有效解析、难以深入分析
黑客在发起应用层攻击时，传统waf设备首先会对应用流量进行内容解析并还原，比如黑客攻击的是iis、apache、weblogic等组件，waf设备会依托于内容还原引擎去解析所有的组件的内容，识别攻击流量是否是针对该组件，业务内容解析及还原能力是否够强，直接影响应用层威胁的检测结果。在业务内容解析环境，waf面临的最大的难度就是如何全面覆盖客户环境中异构的、不同版本的各种组件。
一般来说，用户环境中存在异构的、不同版本的各种组件。需要安全厂商进行持续的攻防研究与攻防演练，并持续更新迭代。然而不同厂商在业务内容还原的能力上参差不齐，这就导致了传统waf设备无法有效保障服务器的组件能够被全部识别并被有效还原。当黑客针对性发起攻击时，就会存在被绕过的风险。
3、web威胁无法精准识别、无法保证误报率和漏报率
waf产品的误判和漏判情况，也是使用者普遍关注的问题之一，误判产生的本质原因在于攻击流量和业务流量的相似性，而漏判则是在于攻击数据的伪装，使得waf无法精准识别。
当前的waf设备在技术手段上所采用的正则匹配方式相对单一，依靠静态固化的规则无法有效应对各种变种的应用层威胁。特征检测机制会从零散分布在正常业务语句中的特征进行判断，如业务中的一些业务语句、句子甚至文章往往被认为是攻击特征，从而导致误判；而利用各种编码及攻击混淆手段进行的攻击语句，往往能够伪装成正常流量，绕过waf的规则判断。
下一代waf防御引擎
为了弥补传统waf防御架构的不足，更好的应对日益复杂的web应用攻击，传统waf的防御架构必须进行更新换代。基于单一的正则匹配安全检测技术基础，引入语法、词法分析算法，并全面结合机器学习、人工智能技术，利用ai技术为传统的waf进行深度的安全赋能，以此构建更加智能化的下一代waf防御引擎。
深信服af 下一代waf防御引擎
1、以流量深度学习能力，全面提升设备处理效能
通过引入机器学习，在流量层采集白流量的特征，使合法流量可以快速通行，实现设备性能的翻倍提升。
深信服下一代防火墙在waf引擎上采用白流量过滤，基于应用层交互内容进行深度学习，在这个层次上建立深入的流量学习模型，对各种网页元素、参数进行监测、学习、对比，整个过程由设备的自学习功能完成，无需人工干预，同时可以根据web流量的变化进行自适应调整，建立白流量过滤能力，如果流量中有明显偏离正常流量模式，则将其导入到后续的安全检测流程进行处理，保证合法流量可以快速通行。这就好比机场的安检机，识别到包含违禁物品的包裹后，进行开箱查看，正常包裹直接通过，相比传统waf架构的逐一开箱检查，极大的提高处理效率。
2、以业务智能融合引擎，融合业务解析及还原能力
深信服af通过业务智能融合引擎，智能匹配业务环境，根据业务特征动态匹配解析及还原能力，具备适应各种后端业务的能力，能够快速将业务相关内容还原，再在进行安全检测，全面应对各种各样的攻击。例如下面这个sql注入攻击语句：
post
/cms/supesite/personcard.php?uid=49 and 1=2 union select 1,password,3,4,5 from adminhttp/1.1
因为iis默认支持对%u编码的解码功能，所以这一段数据最终被还原成：
post
/cms/supesite/personcard.php?uid=49 and 1=2 union select 1,password,3,4,5 from adminhttp/1.1
导致该语句可以成功在iis服务器上被执行，从而对应用服务器造成攻击。而深信服af业务智能融合的解析引擎，可以准确识别攻击使用的混淆方法，从而对其进行解析，检测并进行拦截。对比传统waf的防御方式，如果waf不具备这种业务适配能力的话，无法正确以对应的业务环境对该语句进行解析和还原，将无法有效识别来该攻击，黑客就可以绕过waf，从而攻击后端的业务服务器。
除了业务智能融合引擎之外，深信服af也在传统技术上做到极致，通过对大量用户业务环境的持续攻防演练，充分了解用户业务的特点及响应方式，将该业务解析的能力全面迁移到waf中，实现对业务内容的深度还原。
3、以威胁深度检测引擎，精准识别web威胁
深信服af的威胁深度检测引擎融合词法、语法算法并全面采用人工智能对威胁进行深度分析，可以全面应对传真实环境中复杂的业务环境、业务数据、开发方法等，第一时间定位并处理掉异常行为。
基于ai学习经验数据后，可以形成基于行为的数据模型，通过这些数据模型对目标事件做出预测，使得核心安全能力具备自我学习、模型的自我演进、及业务的自适应特点。如下图，将sql相关的攻击，按照词法解析的方式，形成序列：
sql注入语句解析示意
一方面，通过云端的大数据，生成大量的攻击序列及合法序列，进行有监督学习，用大量已知的攻击样本生成攻击数据模型，然后通过这些模型来预测其他未知的攻击方式。通过这种方式训练出来的ai引擎，即可以防住变化多端的攻击，也能够在waf上线后通过对业务的持续学习，自动排除误判。
另一方面，基于人工智能技术通过有监督和无监督的结合，无监督掌握业务的正常模式，有监督可以掌握攻击的特征，通过人为的标注，进行数据泛化，这样的互补可以更好地精准识别业务流中的攻击。
深信服af基于面向未来，有效保护的安全理念，采用的下一代waf防御引擎，相比传统waf防御方式，能够为用户的业务提供更加高效的防御能力。
- / 2020-02-15
- / 2020-02-14
- / 2020-02-15