[新产品/新功能] Application Gateway 日志功能增强：提升可见性、灵活性与成本效益

**发布时间:** 2025-09-25 **厂商:** AZURE **类型:** TECH-BLOG **原始链接:** https://techcommunity.microsoft.com/blog/azurenetworkingblog/unlock-visibility-flexibility-and-cost-efficiency-with-application-gateway-loggi/4456707 --- <!-- AI_TASK_START: AI标题翻译 --> [新产品/新功能] Application Gateway 日志功能增强：提升可见性、灵活性与成本效益 <!-- AI_TASK_END: AI标题翻译 --> <!-- AI_TASK_START: AI竞争分析 --> # 产品功能分析 ## 新功能/新产品概述 Azure 宣布对其 **Azure Application Gateway** 的日志功能进行三项核心增强，旨在提升云原生应用的可观测性、灵活性和成本效益。这些功能共同构成了一个更智能、结构化且注重成本的日志管理解决方案。 - **资源特定表 (Resource-specific tables)** - **核心定义**：将 **Application Gateway** 的诊断日志从过去统一的、通用的 `AzureDiagnostics` 表，拆分到多个专用的、预定义模式的表中，如 `AGWAccessLogs`、`AGWPerformanceLogs` 和 `AGWFirewallLogs`。 - **技术原理**：该功能利用 **Azure Monitor** 底层的 **Azure Data Explorer** 引擎，为不同类型的日志（访问、性能、防火墙）创建独立的、结构化的数据表。这种模式优化了数据存储和索引，从而提升查询性能和易用性。 - **目标用户与定位**：面向需要对应用网关日志进行频繁查询、分析和故障排查的 DevOps 工程师、SRE 和安全分析师。其市场定位是简化日志分析流程，降低查询复杂性，并为精细化权限管理提供基础。 - **数据收集规则 (DCR) 转换 (Data collection rule transformations)** - **核心定义**：允许用户在日志数据被摄取到 **Log Analytics** 工作区之前，在数据源头对日志进行过滤、丰富或修改。 - **技术原理**：通过在 **数据收集规则 (DCR)** 中定义转换逻辑（使用 **Kusto 查询语言 KQL** 的子集），在数据收集管道的早期阶段对原始日志流进行实时处理。这是一种“源头处理”模式，而非传统的“摄取后再处理”。 - **目标用户与定位**：适用于对成本敏感、有严格合规性要求（如 GDPR、CCPA）或处理海量日志的组织。其市场定位是提供一个原生的、高效的日志预处理机制，以降低存储成本并满足安全合规需求。 - **基础日志计划 (Basic log plan)** - **核心定义**：**Log Analytics** 提供的一种低成本日志存储层，专为高容量、低优先级、无需实时分析的诊断数据设计。 - **技术原理**：通过提供一个功能受限但价格更低的存储和查询层来实现成本优化。该计划可能采用成本更低的存储介质和简化的索引策略，并对查询功能（如 **KQL** 功能集）和实时告警等高级特性进行限制。 - **目标用户与定位**：适用于需要长期保留日志用于事后调试、取证分析或合规审计，但不需要对其进行复杂实时分析的用户。其定位是为日志数据提供分层存储选项，帮助客户在成本和功能之间取得平衡。 ## 关键客户价值 - **提升查询效率与简化操作** - **业务价值**：资源特定表提供了清晰、预定义的日志模式，用户不再需要在庞大的 `AzureDiagnostics` 表中进行复杂的过滤和JSON解析。这使得查询语句更简洁、直观，显著降低了学习成本和排错时间。 - **差异化优势**：这是对 Azure Monitor 日志系统长期痛点的直接改进。相比于将所有资源日志混杂在单一表中的传统模式，这种专用表结构更接近于专业可观测性平台（如 Datadog, Splunk）的设计理念，通过结构化数据提升了原生日志分析工具的可用性。 - **实现精细化成本控制与合规性** - **业务价值**：**DCR 转换** 允许企业在日志进入计费管道前丢弃无用数据（如低优先级的健康检查日志），直接减少数据引入量，从而降低成本。同时，能够在源头屏蔽或匿名化个人身份信息 (PII)，简化了满足 GDPR 等数据隐私法规的合规流程。 - **差异化优势**：将日志转换能力前置到数据收集端是业界的主流趋势。与依赖外部工具（如 Logstash/Fluentd）或在查询时进行处理相比，Azure 的原生 **DCR 转换** 方案集成了数据管道，减少了架构复杂性和维护成本，为用户提供了更无缝的体验。 - **提供灵活的日志分层存储策略** - **业务价值**：**基础日志计划** 使得企业能够以极低的成本存储海量诊断日志，解决了“既要保留足够长的日志以备审计，又担心成本失控”的矛盾。企业可将关键业务日志置于标准层以获得完整功能，将非关键日志置于基础层以节约成本。 - **差异化优势**：这种分层定价模型直接对标了 AWS CloudWatch Logs Infrequent Access 等竞品功能。它让 **Log Analytics** 的定价更具竞争力，不再是“一刀切”的高价模式，而是根据数据价值和访问频率提供不同性价比的选项，增强了其作为企业级统一日志管理平台的能力。 ## 关键技术洞察 - **从“读取时解析”到“写入时模式”的转变** - _基于结构化数据模型优化_，资源特定表标志着 Azure Monitor 日志处理理念的演进。它摒弃了将半结构化 JSON 数据存储在通用字段中，在查询时才解析（Schema-on-Read）的低效方式。转而采用“写入时模式”(Schema-on-Write)，在数据摄取时就将其映射到强类型的列中。这使得底层的 **Azure Data Explorer** 引擎能够利用其列式存储和高效索引的优势，实现查询性能的飞跃。 - **在数据流管道中嵌入 KQL 转换引擎** - **DCR 转换** 的实现，是在 **Azure Monitor** 的数据收集端点和 **Log Analytics** 工作区之间集成了一个轻量级的流处理引擎。该引擎能够执行用户定义的 **KQL** 查询来实时转换数据。这种设计的创新点在于，它将强大的 **KQL** 从一个纯粹的“查询语言”扩展为一种“数据处理语言”，并将其能力前置到数据管道的入口，实现了高效的摄取时（Ingestion-time）数据规整。 - **通过计算与存储资源隔离实现成本分层** - **基础日志计划** 的低成本特性很可能是 _通过资源隔离和功能权衡实现的_。该计划下的数据可能被存储在成本更低的存储介质上，并使用与标准层隔离的、资源受限的计算集群来处理查询。查询功能的限制（如部分 **KQL** 操作符不可用）和额外的查询费用也印证了这一点，即系统通过牺牲部分实时性、性能和高级分析能力，来换取存储和计算成本的大幅降低。这是云服务中实现成本效益分层的典型架构模式。 <!-- AI_TASK_END: AI竞争分析 --> <!-- AI_TASK_START: AI全文翻译 --> # 通过应用程序网关 (Application Gateway) 日志记录增强功能，解锁可见性、灵活性与成本效益 **原始链接:** [https://techcommunity.microsoft.com/blog/azurenetworkingblog/unlock-visibility-flexibility-and-cost-efficiency-with-application-gateway-loggi/4456707](https://techcommunity.microsoft.com/blog/azurenetworkingblog/unlock-visibility-flexibility-and-cost-efficiency-with-application-gateway-loggi/4456707) **发布时间:** 2025-09-25 **厂商:** AZURE **类型:** TECH-BLOG ---  Azure Networking Blog # 通过应用程序网关 (Application Gateway) 日志记录增强功能，解锁可见性、灵活性与成本效益 2025 年 9 月 25 日 #### **引言** 在当今的云原生 (Cloud-native) 格局中，组织正以前所未有的速度加速 Web 应用程序的部署。但随着规模的快速扩张，复杂性也随之增加——对底层基础设施深入、可操作的可见性的需求也日益增长。随着企业拥抱现代架构，对可扩展、安全且可观测的 Web 应用程序的需求持续上升。Azure 应用程序网关 (Azure Application Gateway) 正在不断演进以满足这些需求，提供增强的日志记录功能，使团队能够获得更丰富的洞察、优化成本并简化运维。 本文重点介绍三项强大的增强功能，它们正在改变团队在 Azure 应用程序网关 (Azure Application Gateway) 中使用日志记录的方式： - 资源特定表 (Resource-specific tables) - 数据收集规则 (DCR) 转换 - 基本日志计划 (Basic log plan) 资源特定表提升了组织结构和查询性能。数据收集规则 (DCR) 转换使团队能够对日志数据的结构和内容进行精细控制。而基本日志计划则使全面的日志记录更易于获取且更具成本效益。这些功能共同为可观测性提供了一种更智能、更结构化且更具成本意识的方法。 #### **资源特定表：结构化且高效的日志记录** Azure Monitor 将日志存储在由 [Azure 数据资源管理器 (Azure Data Explorer)](https://learn.microsoft.com/en-us/azure/data-explorer/) 提供支持的 Log Analytics 工作区中。以前，当您配置 Log Analytics 时，应用程序网关 (Application Gateway) 的所有诊断数据都存储在一个名为 `AzureDiagnostics` 的通用表中。这种方法常常导致查询速度变慢和复杂性增加，尤其是在处理大型数据集时。 通过资源特定日志记录，应用程序网关 (Application Gateway) 的日志现在被组织到专用的表中，每个表都针对特定的日志类型进行了优化： - [AGWAccessLogs](https://learn.microsoft.com/en-us/azure/azure-monitor/reference/tables/agwaccesslogs) - 包含访问日志信息 - [AGWPerformanceLogs](https://learn.microsoft.com/en-us/azure/azure-monitor/reference/tables/agwperformancelogs) - 包含性能指标和数据 - [AGWFirewallLogs](https://learn.microsoft.com/en-us/azure/azure-monitor/reference/tables/agwfirewalllogs) - 包含 Web 应用程序防火墙 (WAF) 日志数据 这种结构化的方法带来了几个关键优势： - **简化的查询** – 减少了对复杂筛选和数据操作的需求 - **改进的模式发现** – 更容易理解日志结构和字段 - **增强的性能** – 加快了引入和查询执行的速度 - **精细的访问控制** – 允许您对特定表[授予 Azure 基于角色的访问控制 (RBAC)](https://docs.microsoft.com/en-us/azure/azure-monitor/logs/manage-access?tabs=portal#table-level-azure-rbac) 权限 **示例：Azure diagnostics 与资源特定表方法的对比** 传统的 `AzureDiagnostics` 查询： ``` AzureDiagnostics | where ResourceType == "APPLICATIONGATEWAYS" and Category == "ApplicationGatewayAccessLog" | extend clientIp_s = todynamic(properties_s).clientIP | where clientIp_s == "203.0.113.1" ``` 新的资源特定表查询： ``` AGWAccessLogs | where ClientIP == "203.0.113.1" ``` 资源特定表的方法更简洁、更快、更易于维护，因为它消除了复杂的筛选和数据操作。 #### **数据收集规则 (DCR) 日志转换：掌控您的日志管道** 数据收集规则 (DCR) 转换提供了一种灵活的方式，可在日志数据到达您的 Log Analytics 工作区之前对其进行塑造。您现在可以在源头筛选、丰富和转换日志，而不是引入原始日志并在引入后进行筛选，从而获得更大的控制力和效率。 为什么 DCR 转换很重要： - **优化成本**：通过排除非必要数据来减少引入量 - **支持合规性**：在日志存储前剥离个人身份信息 (PII)，帮助满足 GDPR 和 CCPA 的要求 - **管理数据量**：非常适合只需要可操作数据的高吞吐量环境  #### **真实世界用例** 无论您是处理高流量的电子商务工作负载、处理敏感的医疗保健数据，还是管理有成本限制的开发环境，DCR 转换都有助于根据特定的业务和法规需求定制您的日志记录策略。 有关实施指南和最佳实践，请参阅 [Azure Monitor 中的转换 - Azure Monitor](https://learn.microsoft.com/en-us/azure/azure-monitor/data-collection/data-collection-transformations) #### **基本日志计划 - 针对低优先级数据的经济高效的日志记录** 并非所有日志都需要实时分析。有些日志仅用于偶尔的调试或合规性审计。Log Analytics 中的基本日志计划提供了一种经济高效的方式来保留大量、低优先级的诊断数据——而无需为您可能不需要的高级功能付费。 何时使用基本日志计划： - **节省成本**：按使用量付费的定价，引入费率更低 - **调试和取证**：保留数据用于故障排除和事件分析，而无需为不经常使用的高级功能支付额外费用 #### **理解权衡** 虽然基本计划能显著节省成本，但它也有一些限制： - **无实时警报**：不适用于监控关键健康指标 - **查询限制**：有限的 KQL 功能和额外的查询成本 当不需要深度分析和警报时，选择基本计划，并将高级资源集中用于关键日志。 #### **使用 Azure 应用程序网关 (Azure Application Gateway) 构建智能日志记录策略** 要充分利用 Azure 应用程序网关 (Azure Application Gateway) 的日志记录功能，请结合这三种能力的优势： - **评估您的需求**：确定哪些日志需要实时监控，哪些用于合规性或调试 - **为效率而设计**：对低优先级数据使用基本日志计划，为关键日志保留标准层 - **在源头进行转换**：应用 DCR 转换以在引入前降低成本并满足合规性要求 - **精确查询**：使用资源特定表来简化查询并提高性能 这种集成方法帮助团队实现深度可见性、保持合规性并管理成本。 更新于 2025 年 9 月 25 日 版本 1.0 <!-- AI_TASK_END: AI全文翻译 -->