尽管 MITRE Engenuity对 ATT&CK® 评估方法和结果解释有明确的指导——特别是说“评估不是竞争性分析”和“没有分数或赢家”的部分——少数参与供应商已经发布了吹嘘的营销材料，声称他们击败了竞争对手。虽然这种营销虚张声势的动机是可以理解的，但他们没有抓住 ATT&CK 评估的重点。Forrester 分析师在他们的博文“Winning”MITRE ATT&CK 中解释了这一现象，失去了对客户的关注。
这篇博文的目的是对 ESET 的端点检测和响应 (EDR) 解决方案——ESET Enterprise Inspector——在评估中的表现提供一个脚踏实地的事实概述，并强调我们的解决方案的一些特征和特性在 MITRE Engenuity 的评估中进行评估，但在考虑您组织的整体需求时可能是相关的。
在深入研究之前，重要的是要注意，我们不是从评估中表现不佳的供应商的角度来写这篇文章的。相反，由于对攻击子步骤的可见性超过 90%（指标之一，将在下面更详细地解释），ESET 在参与供应商中名列前茅——这是唯一一个比较本文的声明，仅用于说明上述观点。所以，让我们超越炒作，看看结果。
评估方法
为了正确分析评估结果，理解方法和一些关键术语很重要。MITRE Engenuity 为评估提供了非常清晰和详细的文档，从一篇易于阅读的博客文章开始（这是一个很好的起点，特别是如果您不熟悉最近一轮的评估）一直到Adversary Emulation Plan Library，其中包括源代码，以便任何人都可以重现结果。因此，我们将在这里仅提供该方法的非常简要的概述。
在最近的一次迭代中，评估模拟了Carbanak和FIN7高级持续威胁 (APT) 小组通常使用的技术。我们称这些为“金融 APT 团伙”，因为与大多数 APT 团伙不同，他们的主要动机似乎是经济利益，而不是民族国家间谍活动或网络破坏活动，并且与典型的网络犯罪团伙不同，他们使用复杂的技术。
这意味着，如果您的组织属于金融、银行、零售、餐厅或酒店行业之一（或者一般而言，属于使用销售点终端的行业，因为这些设备是这些威胁行为者的目标），这评估应该与您特别相关。同时，对于 Carbanak 和 FIN7 典型范围之外的组织，该评估仍然可以作为证明 EDR 功效的相关参考，因为本次评估中使用的许多模拟技术是多个 APT 组共有的。
检测场景包括20步（10 Carbanak和10 FIN7) 涵盖了 ATT&CK 框架中列出的一系列策略，从初始访问到横向移动、收集、渗漏等。然后将这些步骤分解为更细化的级别——总共 162 个子步骤（对于也参与 Linux 部分评估的供应商，则为 174 个）。MITRE Engenuity 团队记录了每个参与 EDR 解决方案的每个子步骤的响应和可见性级别。
然后将结果组合成各种指标，主要基于解决方案查看模拟攻击行为的能力（遥测类别）或提供更详细的分析数据（一般、战术和技术类别）。有关更多详细信息，请阅读 MITRE Engenuity关于检测类别的文档。
图 1 – Carbanak 和 FIN7 评估中的检测类别（图片来源：MITRE）
今年是新的一年，除了测试解决方案配置为仅报告而不阻止攻击进行的检测场景外，还有一个测试每个参与解决方案阻止攻击继续进行的能力的可选保护方案。保护场景共包含 10 个测试用例（5 个用于 Carbanak，5 个用于 FIN7）。
正如介绍中提到的，ATT&CK 评估与传统的安全软件测试不同，它没有分数、排名或评级。这背后的原因是组织、安全运营中心 (SOC) 团队和安全工程师都有不同的成熟度和不同的法规需要遵守，以及许多其他部门、公司和站点特定的需求。因此，并不是 ATT&CK 评估中给出的所有指标对每个评估者都具有相同的重要性。评估未考虑的其他关键参数包括 EDR 性能和资源需求、噪音（警报疲劳 – 任何产品都可以通过对测试环境中记录的每个动作产生警报来在其中大部分结果上获得非常高的分数），
现在，让我们看看 ESET 的 EDR 解决方案 ESET Enterprise Inspector 的表现如何。
ESET 的评估结果
结果可在此处公开获得。
在检测评估的 20 个步骤中，ESET Enterprise Inspector 检测到所有步骤 (100%)。图 2 和图 3 说明了每个步骤的不同类型的检测。
图2 – Carbanak 场景中检测类型的分布（图片来源：MITRE Engenuity）
图 3 – FIN7 场景中检测类型的分步分布（图片来源：MITRE Engenuity）
将攻击模拟分解到更精细的级别，在模拟的 162 个子步骤中，ESET Enterprise Inspector 检测到 147 个子步骤(91%)。图 4 和图 5 说明了每个子步骤的不同类型的检测。
图4 – Carbanak 场景中子步骤的检测类型分布（图片来源：MITRE Engenuity）
图 5 – FIN7 场景中子步骤的检测类型分布（图片来源：MITRE Engenuity）
结果表明，ESET 的 EDR 解决方案为防御者提供了在所有攻击阶段对攻击者对受感染系统的操作的出色可见性。
虽然可见性是最重要的指标之一，但它并不是唯一重要的指标。对于某些 SOC 分析师来说，也许更重要的是警报策略（不是评估本身的一部分），我们将在后面讨论。
对某些人来说可能很重要的另一个指标是分析覆盖率——包括提供额外上下文的检测——例如，为什么攻击者在系统上执行特定操作。如上图中的三种绿色阴影（一般、战术和技术）所示，ESET Enterprise Inspector 为 93 个子步骤 (57%) 提供了此额外信息。
请注意，ESET 没有参与评估的 Linux 部分——Linux 子步骤在结果中标记为 N/A。ESET Enterprise Inspector 目前可用于 Windows 和 macOS（本轮评估中未测试 macOS 保护），而 Linux 的集成预计在 2021 年末进行。ESET
确实参与了可选保护评估，ESET Endpoint Security 会自动介入10 个测试场景中有 9 个。
为什么我们没有实现 100% 覆盖
Linux 检测（请注意，虽然 ESET 的 Linux EDR 解决方案在本轮评估时不可用，但 ESET 的生态系统确实为 Linux 提供了端点保护——但这不在本次评估的范围内)，ESET Enterprise Inspector 未识别 162 个子步骤中的 15 个。这些“未命中”属于以下两类之一：
1. 有意禁用对来自特定数据源的某些事件的报告，以减少仪表板内的噪音。
2. 不可见检测的数据源尚未实现，但计划在即将推出的版本中添加。
我们尚未实施的检测示例是将散列（子步骤 5.C.1）、命令和控制连接传递到代理（子步骤 19.A.3），并监控其他 API（例如，子步骤 4.A.1、9. A.2、9.A.4 和 9.A.5)。我们认为后者具有更高的优先级，并计划在 ESET Enterprise Inspector 的下一个版本中添加这些检测。
我们决定不实现某些 API 监控功能的原因是系统中存在大量 API 调用——监控所有 API 既不可行也不可取。相反，重要的是仅仔细选择对 SOC 分析人员有用且不会产生不必要噪声的那些。
第二类选择遗漏的一个例子是文件读取操作（例如，子步骤 2.B.5、9.A.5 和 20.B.5 的部分）。同样，由于系统中有大量此类操作，因此记录所有这些操作是不可行的，因为这会占用大量资源。相反，我们选择了一种更有效的方法：监控精心挑选的关键文件（例如，存储浏览器登录凭据的文件）的文件读取操作，同时还监控相应进程的网络流量。
设计有效 EDR 解决方案（这也适用于端点安全软件）的关键原则是平衡。理论上，创建一个实现 100% 检测的解决方案很容易——只需检测一切。当然，这样的解决方案几乎毫无用处，这正是传统端点保护测试始终包含误报指标的原因，而如果不测试误报，就无法进行真正的比较测试。
是的，与端点保护相比，EDR 的情况略有不同（因为您可以在不发出警报的情况下进行监控或检测），但原则仍然适用：过多的检测会产生过多的噪音，导致警报疲劳。这导致 SOC 分析师的工作量增加，他们必须筛选大量检测或警报，导致与预期效果完全相反：它会分散对真正的高严重性警报的注意力。除了增加人工工作量之外，由于更高的性能和数据存储要求，太多的低重要性检测也会增加成本。
1 注– 此评论特别讨论了文件读取操作，这是数量最多的。除了文件读取操作之外，ESET Enterprise Inspector 还提供对其他重要文件系统操作的可见性，例如写入、重命名和删除文件，这些操作并不多，因此对监视哪些文件的限制较少。
话虽如此，良好的可见性是 EDR 解决方案的重要指标（ESET 的评估结果超过 90%）；这不是唯一需要考虑的重要指标。
ESET Enterprise Inspector 的警报策略
在我们看来，一个好的 EDR 解决方案的主要目的——也是最重要的特性——是它能够发现正在进行的攻击并协助防御者做出反应、缓解和调查它。
如前所述，无效的 EDR 解决方案可能会给 SOC 分析师带来的主要问题之一是警报疲劳。有效的 EDR 解决方案解决这个问题的方式——除了如上一节中强调的那样优先考虑数据源之外——是一种很好的警报策略。换句话说，EDR 解决方案应将系统内所有受监控的活动呈现给 SOC 分析师，让他们关注可能的攻击指标。
由于每个供应商对警报策略的独特看法以及比较它们的难度是可以理解的，因此这一重要方面不是评估的直接部分。相反，MITRE 在每个供应商结果的概述部分中总结了警报策略。
对于 ESET Enterprise Inspector，MITRE Engenuity 对警报策略的描述如下：“匹配恶意行为分析逻辑的事件被分配适当的严重性值（信息、警告、威胁）。这些警报事件还丰富了上下文信息，例如相关 ATT&CK 战术和技术的描述和潜在映射。当作为系统事件/数据的其他视图的一部分包含时，警报事件会聚合到特定视图中并突出显示（使用特定图标和颜色）。”
例如，图 6 显示了在模拟子步骤 8.A.3 之后引发的警报的详细视图。
在这一步中，攻击者通过 HTTPS 反向 shell 设置对目标的秘密访问。
图 6 – ESET Enterprise Inspector 事件详细信息触发协议不匹配规则
ESET Enterprise Inspector 检测到此 SSL 隧道的创建并收集对 SOC 分析师有用的其他上下文信息，包括有关协议不匹配和非标准端口使用的详细信息以及执行链和进程树——突出显示可疑或明显恶意的进一步相关事件。
提供了对观察到的行为的解释，以及指向 MITRE ATT&CK 知识库的链接，以及此类行为（恶意和良性）的典型原因。这在由于组织的特定内部流程而将潜在危险事件用于合法目的的模棱两可的情况下尤其有用，这些流程供 SOC 分析师调查和区分。
还提供了建议的操作，以及通过终止进程或隔离主机等操作来缓解威胁的工具，这些操作可以在 ESET Enterprise Inspector 中完成。
图 7 – VNC 通信的 ESET Enterprise Inspector 事件详细信息
在 Carbanak 仿真场景 (10.B.1) 的最后一个子步骤中，攻击者尝试通过 VNC 访问目标桌面。同样，此通信对 ESET Enterprise Inspector 清晰可见并标记为可疑，并提供所有相关详细信息 – 请参见上面的图 7。需要注意的是，协议是基于对网络流量内容的分析来识别的，这意味着即使使用了非标准的网络端口，也会识别出协议，即使发起进程被混淆或使用了伪装技术，相应的规则在可以触发 ESET Enterprise Inspector。
回到本节开头概述的良好 EDR 解决方案的目的，基本作用不一定是提醒分析师注意在攻击期间执行的每个程序（或 ATT&CK 评估中的子步骤），而是而不是提醒他们攻击发生（或正在进行）……然后通过提供透明导航的能力来帮助他们调查环境中发生的事情和时间的详细和逻辑结构化的证据。这是我们在开发 ESET Enterprise Inspector 时继续高度重视的功能。
结论
我们很高兴看到严格的 MITRE ATT&CK 评估证明了我们 EDR 技术的品质，并验证了我们对 ESET Enterprise Inspector 的愿景和路线图的展望。
重要的是要记住，开发一个好的 EDR 解决方案不能是一成不变的任务——随着对手团体的改变和改进他们的技术，EDR 和端点保护平台也必须跟上步伐，以便继续保护组织免受现实世界的威胁。
这正是 ESET Enterprise Inspector 的情况：它不是一种 EDR 解决方案，其开发与主动威胁研究脱节。不，是我们的专家跟踪世界上最危险的 APT 组织和网络犯罪分子他们还确保 ESET Enterprise Inspector 的规则有效并且能够检测目标系统上的恶意活动。
ESET Enterprise Inspector 只是我们综合网络安全产品组合中的一个组件，完美平衡以提供可靠的网络攻击保护。ESET Enterprise Inspector 是 ESET多层安全生态系统不可或缺的一部分，其中包括强大而准确的端点安全、云沙箱（ESET 动态威胁防御）)、基于机器学习的检测技术，以及来自数百万端点用户群的 LiveGrid® 遥测和威胁情报（除其他好处外，还允许 ESET Enterprise Inspector 将二进制文件和进程的声誉纳入其决策）。
我们 ESET 相信这种提供安全解决方案的统一方法绝对至关重要，因为虽然对在您的网络上执行的攻击有很好的可见性很重要，但能够在无数事件中发现和识别它更为重要，甚至更好，以防止它发生。
我们鼓励读者考虑自己的需求、要求和偏好，然后深入研究公开可用的ATT&CK 评估结果，以及其他资源。