¿Estás visitando desde ?
Ingresá a Linware ⯈
Continuar en Linware Argentina ⯈
×
¿Qué estás buscando?
BUSCAR!
BLOG
Introducción al esquema de nomenclatura del flujo de datos elásticos
Publicada el 28/12/2020

Con Elastic 7.9, se lanzaron Elastic Agent y Fleet , junto con una nueva forma de estructurar índices y flujos de datos en Elasticsearch para datos de series de tiempo. En esta publicación de blog, brindaremos una descripción general del esquema de nomenclatura del flujo de datos elásticos y cómo funciona. Esta es la primera de una serie de publicaciones de blog sobre el esquema de nomenclatura del flujo de datos elásticos.

Esquema de nomenclatura de flujo de datos elásticos

El esquema de nomenclatura del flujo de datos elásticos está hecho para datos de series de tiempo y consiste en dividir conjuntos de datos en diferentes flujos de datos utilizando la siguiente convención de nomenclatura.

  • tipo : tipo genérico que describe los datos
  • conjunto de datos : describe los datos ingeridos y su estructura
  • espacio de nombres : agrupación arbitraria configurable por el usuario

Estas tres partes se combinan con un "-" y dan como resultado flujos de datos como logs-nginx.access-production. En las tres partes, el carácter "-" no está permitido. Esto significa que todos los flujos de datos se nombran de la siguiente manera:

{tipo} - {conjunto de datos} - {espacio de nombres}

Tanto para el conjunto de datos como para el espacio de nombres, existe un valor predeterminado, que es dataset=genericnamespace=default. En el caso de Elastic Agent, si un usuario comienza a ingerir un archivo de registro, los datos terminan en logs-generic-default.

Para tener todos los beneficios del esquema de nomenclatura del flujo de datos elásticos, cada documento debe contener los siguientes tres campos:

  • data_stream.type
  • data_stream.dataset
  • data_stream.namespace

Se pueden encontrar más detalles sobre estos campos en Elastic Common Schema (ECS). Los campos anteriores se asignan como campos de palabras clave constantes , lo que hace que la consulta sobre ellos sea eficiente al reducir la cantidad de fragmentos que deben consultarse.

Beneficios del esquema de nomenclatura del flujo de datos elásticos

El esquema de nomenclatura del flujo de datos elásticos tiene algunos beneficios sobre las estrategias de indexación anteriores utilizadas por Beats y Logstash. En lugar de muy pocos índices grandes, se utilizan muchos flujos de datos más pequeños pero más densos. Un breve resumen de los beneficios:

  • Número reducido de campos por índice : dado que los datos se dividen por conjunto de datos en varios flujos de datos, cada flujo de datos contiene un conjunto mínimo de campos. Esto conduce a una mejor eficiencia del espacio y consultas más rápidas .
  • Control más granular de los datos: tener los datos divididos por conjunto de datos y namespacepermite un control granular sobre los permisos de transferencia, retención y seguridad.
  • Flexibilidad : los usuarios pueden usar namespacepara dividir y organizar los datos de la forma que deseen.
  • Experiencias mejor seleccionadas : debido a la estructura común del esquema de nomenclatura del flujo de datos elásticos, es posible crear una experiencia mejor curada sobre los flujos de datos.
  • Se necesitaban menos permisos de ingesta : antes, Elastic Agent realizaba la configuración de las plantillas y las canalizaciones de ingesta. Como esto ahora sucede de manera centralizada, la herramienta de ingestión solo necesita permisos para agregar datos.

Uso del esquema de nomenclatura del flujo de datos elásticos

El esquema de nomenclatura del flujo de datos de Elastic es compatible con Elastic Stack versión 7.9 y posteriores, ya que requiere soporte para flujos de datos, las nuevas plantillas de componentes de Elasticsearch y palabras clave constantes. Plantillas de índice logs-*-*metrics-*-*envío con Elasticsearch> = 7.9. Todos los datos enviados con Elastic Agent utilizan el esquema de nomenclatura del flujo de datos elásticos. Para usarlo para cualquier otro remitente de datos, simplemente siga la estructura de nombres y agregue los campos data_stream para que funcione.

Resumen

Este es un breve resumen del esquema de nomenclatura del flujo de datos elásticos. En las publicaciones de seguimiento del blog, profundizaremos en los detalles técnicos sobre cómo funciona entre bastidores, cómo lo usa Elastic Agent en detalle y cómo puede usarlo para su propio beneficio. Para obtener información adicional, vea la inmersión profunda en la nueva estrategia de indexación de Elastic en el canal de YouTube de Elastic Community.

Ir al Blog