En KubeCon Europe, se anunció que OpenTelemetry (OTel) ha aceptado Elastic Common Schema (ECS) como contribución al proyecto. El objetivo es lograr la convergencia de ECS y las convenciones semánticas de OpenTelemetry (SemConv) en un único esquema abierto mantenido por OpenTelemetry. Esta pregunta frecuente detalla la contribución de Elastic Common Schema a OpenTelemetry, cómo ayudará a impulsar a la industria hacia un esquema común y su impacto en la observabilidad y la seguridad.
¿Qué se anuncia?
Elastic contribuye con su proyecto de código abierto, Elastic Common Schema (ECS) , al proyecto OpenTelemetry bajo Cloud Native Computing Foundation (CNCF) para ayudar a converger hacia un esquema común para la observabilidad y los datos de seguridad. Un esquema común ayuda a normalizar los datos para permitir un mejor análisis, visualización y correlación de esos datos en cualquier plataforma de seguridad o observabilidad. La adopción de ECS por parte de OpenTelemetry beneficia a la comunidad de usuarios de OTel con un esquema común probado y maduro para métricas, registros, seguimientos, recursos (hosts, contenedores, etc.) y eventos de seguridad.
¿Qué necesitan saber los usuarios de Elastic?
Elastic preservará las inversiones de nuestros usuarios en ECS. La evolución continua de ECS desde OpenTelemetry brindará a los usuarios de ECS un camino claro para adoptar lo que esperamos sea el estándar más utilizado en la industria para las convenciones semánticas.
Elastic participará y colaborará estrechamente con la comunidad de OTel para fusionar correctamente ECS y las convenciones semánticas de OpenTelemetry con el tiempo. Elastic continuará admitiendo datos de usuario en el formato ECS actual, aunque la evolución del esquema ocurrirá en el esquema recién fusionado. Los usuarios de Elastic tendrán la opción de continuar incorporando y usando el formato ECS actual ("congelado") o migrar al nuevo esquema.
Elastic proporcionará orientación y herramientas para una migración simple para los usuarios que decidan migrar al nuevo esquema.
¿Por qué Elastic aporta ECS a OTel?
Las convenciones semánticas (SemConv) y la convergencia de Elastic Common Schema de OpenTelemetry proporcionan un esquema de nomenclatura común para recursos, métricas, registros, seguimientos, eventos de seguridad y eventos de auditoría, que se pueden usar en la base de código, las bibliotecas y las plataformas. Esta convergencia de ECS con las convenciones semánticas de OTel:
¿Por qué es necesario un esquema común para las organizaciones?
Con demasiada frecuencia, las organizaciones luchan por comprender cuándo ocurrió un problema (visibilidad) y por qué sucedió (análisis de causa raíz). Este desafío operativo se debe a los datos que están en silos y estructurados en diferentes esquemas. Las organizaciones dedican más tiempo a transformaciones de datos innecesarias que a comprender el problema, analizar la causa raíz u optimizar las operaciones.
Con datos estructurados de acuerdo con un esquema común, los equipos de operaciones podrán concentrarse en reconocer, resolver y prevenir problemas, además de reducir el tiempo medio de resolución (MTTR). Las operaciones también pueden reducir costos al no tener datos duplicados y no tener que procesar datos para la normalización.
¿Cuál es un ejemplo ilustrativo de un esquema común?
Un ejemplo ilustrativo simple es cuando la dirección IP de un cliente se envía desde múltiples fuentes que están monitoreando o administrando la telemetría sobre el cliente. La plataforma de observabilidad recibe esta información en múltiples formatos:
Linware Perú ⯈src:10.42.42.42nclient_ip:10.42.42.42 napache2.access.remote_ip: 10.42.42.42 ncontext.user.ip:10.42.42.42 nsrc_ip:10.42.42.42Tener una dirección IP representada de múltiples maneras introduce complejidades en el análisis de problemas potenciales o incluso en su identificación. Sin una semántica clara para los datos observados y un esquema común, las soluciones de observabilidad tienen dificultades para correlacionar, analizar e identificar automáticamente las causas raíz de los datos. En consecuencia, las operaciones (SRE, DevOps, etc.) deben comprender estas múltiples definiciones, saber cómo encontrarlas y luego normalizar manualmente los datos para el análisis.
Con un esquema común, todos los datos entrantes están en un formato estandarizado. Tomando el ejemplo anterior, cada una de las fuentes identificaría la dirección IP del cliente de la misma manera:
source.ip:10.42.42.42Las soluciones de observabilidad y seguridad ahora pueden aprovechar un esquema de datos definido consistentemente para la automatización de la correlación y el análisis de datos. Operaciones ahora dedica más tiempo a comprender el problema, encontrar la causa raíz y optimizar las operaciones en lugar de dedicar tiempo a transformaciones de datos innecesarias.
¿Qué es el esquema común elástico (ECS)?
Elastic Common Schema (ECS) , una especificación de código abierto (Apache 2.0), se desarrolla con el apoyo de la comunidad de usuarios de Elastic para definir un conjunto común de campos que se utilizarán al almacenar datos de eventos en Elasticsearch. El objetivo de ECS es permitir y alentar a los usuarios de Elasticsearch a normalizar sus datos de eventos, para que puedan analizar, visualizar y correlacionar mejor los datos representados en sus eventos. ECS es la base de las soluciones de Elastic Observability and Security y es un esquema probado y ampliamente adoptado que ha evolucionado y crecido a lo largo de los años desde su creación en 2019 .
¿Qué son las convenciones semánticas de OpenTelemetry y OpenTelemetry?
OpenTelemetry (OTel) es un proyecto de código abierto que proporciona una colección de especificaciones, herramientas, API y SDK que se pueden usar para generar, recopilar, procesar y exportar datos de telemetría (métricas, registros y seguimientos) para comprender el rendimiento y el comportamiento del software. . se ha convertido en elsegundo proyecto de mayor velocidad en el ecosistema CNCF.
Las convenciones semánticas de OpenTelemetry (SemConv) especifican nombres comunes para diferentes tipos de operaciones y datos. El beneficio de usar SemConv de OpenTelemetry es seguir un esquema de nomenclatura común que se puede estandarizar en una base de código, bibliotecas y plataformas para usuarios finales de OTel. Además, otro gran beneficio es el desacoplamiento de la semántica específica del proveedor. Por lo tanto, con SemConv de OpenTelemetry, los usuarios de datos resuelven el bloqueo del proveedor de sus datos. Por lo tanto, pueden moverse fácilmente entre soluciones de observabilidad (y soluciones de seguridad con la contribución de ECS) sin necesidad de adaptar su recopilación de datos.
¿Cómo ayuda la contribución de ECS a OpenTelemetry?
La mayor necesidad de OpenTelemetry es acelerar la definición de esquemas para describir eventos de registro y seguridad. Los colaboradores de ECS ya han definido un conjunto unificado y bien aceptado de convenciones semánticas de registro, que se pueden adoptar en OTel. ECS se usa ampliamente para estructurar registros consumidos en casos de uso de observabilidad y seguridad.
La combinación acelerará la integración de registros creados por proveedores y registros de componentes de OTel (por ejemplo, receptores y procesadores de registros de recopiladores de OTel). El objetivo es definir convenciones semánticas independientes del proveedor para los tipos de sistemas más populares y admitir componentes de código abierto o creados por proveedores (por ejemplo, registros de acceso HTTP, registros de red, registros de acceso/autenticación del sistema) extendiendo la correlación OTel a estas nuevas señales. . Los usuarios también se beneficiarán del uso de integraciones de registro llave en mano que serán totalmente reconocidas por los productos y servicios de seguridad y observabilidad compatibles con OTel.
La madurez de ECS for Security es una gran oportunidad para mejorar la utilidad de los datos recopilados con OpenTelemetry para casos de uso de seguridad. La incorporación de ECS permitirá a los productores de OTel estructurar eventos de seguridad.
¿Habrá algún cambio en la licencia de ECS?
No habrá cambios en la licencia de ECS. ECS tiene licencia Apache 2.0, al igual que OpenTelemetry.
¿Elastic es compatible con OpenTelemetry hoy?
Elastic es compatible con OTel de forma nativa . Los usuarios de Elastic pueden enviar datos de OTel directamente desde las aplicaciones o a través del recopilador de OTel a Elastic APM, que procesa tanto OTel SemConv como ECS. Con este soporte nativo de OTel, todas las capacidades de Elastic APM están disponibles con OTel. Consulte la documentación de Elastic para obtener más información sobre la integración de OTel .
¿Dónde puedo obtener más información sobre el soporte de ECS y Elastic para OpenTelemetry?
Encuentre información adicional y documentación sobre el soporte y las integraciones de Elastic para OpenTelemetry a continuación: