El contenido del marco del sistema estándar de big data combina la situación de estandarización de big data nacional y extranjera, el estado de desarrollo de la tecnología de big data nacional, la arquitectura de referencia de big data y las necesidades de estandarización, de acuerdo con el ciclo completo de gestión de datos. Las características de estandarización de los datos en sí, basándose en las prácticas preliminares actuales de las aplicaciones de big data en diversos campos, así como en las tendencias futuras de desarrollo de big data, se ha formulado un marco de sistema estándar de big data. El marco del sistema estándar de big data contiene cinco partes: 1. Estándares básicos. Proporcionar estándares básicos que incluyan principios generales, terminología, modelos sociales, modelos técnicos, etc. para todo el sistema de estándares. Las Disposiciones Generales proporcionan pautas de estandarización de big data. Este estándar es una parte integral del estándar de Disposiciones Generales. La terminología define los conceptos de varios elementos de big data. El modelo social es un modelo conceptual de relaciones sociales que puede reflejar el desarrollo, operación y generación de valor social de big data en la cadena ecológica de la industria de big data, generalmente compuesto por coordinadores de sistemas, proveedores de datos y Consiste en aplicaciones. proveedor, proveedor de marco y consumidor de datos. El modelo técnico define el proceso del ciclo de vida de los datos en el sistema de big data, que pasa por los procesos de recopilación, almacenamiento, gestión y procesamiento, análisis y extracción, presentación y aplicación de datos. 2. Normas técnicas. Este tipo de norma regula principalmente las tecnologías relacionadas con big data, incluidas tecnologías clave como la recopilación de datos, el procesamiento de datos, el almacenamiento de datos, el análisis de datos, la presentación de datos y el intercambio de datos. La recopilación de datos se refiere a la recopilación de datos de diferentes tipos y formatos de una amplia gama de fuentes de datos y su envío a sistemas de almacenamiento o sistemas de middleware de datos para su posterior procesamiento. El procesamiento de datos incluye dos procesos: preprocesamiento de datos y procesamiento de datos. El preprocesamiento de datos consiste en preprocesar y clasificar diversos datos para mejorar la calidad de los datos, haciendo que el procesamiento, el almacenamiento, el análisis y otros procesos posteriores de datos sean más efectivos, incluida la limpieza y la integración de datos. ;Etapas de reducción y conversión de datos. La tecnología de procesamiento de datos está relacionada, por un lado, con la forma de almacenamiento distribuido y, por otro, con el tipo de temperatura de los datos (datos fríos, datos calientes). El modelo de procesamiento de datos incluye principalmente el modelo informático MapReduce, ;DAG Modelo computacional, modelo computacional BSP, etc. El almacenamiento de big data es el almacenamiento de datos, su tecnología clave es la tecnología de almacenamiento distribuido, diferentes medios de almacenamiento y formas de gestión organizacional corresponden a diferentes características de big data, generalmente incluyen sistemas de archivos distribuidos, almacenamiento de documentos, etc. Almacenamiento de columnas, almacenamiento de valores clave, base de datos de gráficos, base de datos relacional y almacenamiento de memoria. El análisis de datos se refiere al análisis de estadísticas distribuidas de información de datos existentes mediante agrupación, clasificación, análisis de correlación y aprendizaje profundo, etc., así como a la tecnología de minería distribuida y aprendizaje profundo de información de datos de ubicación. La presentación de datos utiliza tecnología de procesamiento de imágenes por computadora para convertir datos en gráficos o imágenes, mostrarlos en la pantalla y procesarlos. El intercambio de datos se refiere a la tecnología de interacción con datos entre diferentes sistemas y dispositivos para completar el proceso del ciclo de vida de los datos. 3. Estándares de gestión. Este tipo de estándares se centra principalmente en la gestión de sistemas de big data, incluidos estándares para la utilización de datos, la gestión del intercambio de datos, la gestión de productos, la gestión de plataformas, la gestión de proyectos y la gestión de la industria. La utilización de datos se refiere a la tecnología para utilizar big data, incluida la gestión del ciclo de vida de los datos, los métodos de clasificación de datos, la evaluación de la calidad de los datos, la evaluación de la capacidad de los datos y la gestión de identificación y otras tecnologías. La gestión del ciclo de vida de los datos cubre todos los procesos de procesamiento en el ciclo de vida de big data y su propósito es garantizar que el sistema de big data pueda procesar correctamente los datos en cada proceso del ciclo de vida. El método de clasificación de datos consiste en clasificar y procesar datos de diferentes fuentes de acuerdo con su estructura y propiedades, para reducir el tamaño de los datos, mejorar la calidad de los datos y mejorar la eficiencia del proceso de procesamiento de datos posterior. La evaluación de la calidad de los datos evalúa la calidad de los datos desde cuatro aspectos: integridad, coherencia, precisión y puntualidad, distingue los datos de baja y alta calidad y proporciona una base para el procesamiento posterior de los datos. La evaluación de la capacidad de datos se refiere a la evaluación de la gestión de datos y las capacidades de las aplicaciones. Evalúe la madurez de las capacidades de los datos desde diversos aspectos, como los estándares y la gestión del ciclo de vida de los datos. La gestión de identificación se refiere a identificar, gestionar y analizar datos para mejorar la eficiencia de utilización de datos del sistema de datos. La gestión del intercambio de datos se refiere a proporcionar interfaces de acceso para compartir datos, proporcionar servicios externos de intercambio, evitar la duplicación de la construcción de datos y al mismo tiempo garantizar la seguridad y privacidad de los datos, incluye principalmente la gestión abierta de datos, la gestión del directorio de datos y la trazabilidad de los datos. La gestión de productos se refiere a la gestión de productos de big data, que incluye principalmente la gestión del ciclo de vida del producto y la evaluación del valor del producto. La gestión del ciclo de vida del producto es un término colectivo para el proceso de gestión de todos los aspectos del ciclo de vida del producto, desde la obtención de la demanda del mercado, el desarrollo del producto, la operación y el servicio hasta su eliminación y reciclaje por el mercado. La evaluación del valor del producto es una evaluación del valor generado por las funciones, características, calidad, variedad y estilo del producto, etc. La gestión de plataforma consiste en gestionar la plataforma de big data y gestionar las instalaciones del entorno de la plataforma, las instalaciones de comunicación, el hardware y software de la plataforma, etc. La gestión de proyectos incluye principalmente seis aspectos: gestión del ciclo de vida del sistema, gestión de establecimiento de proyectos, gestión de implementación, gestión de aceptación, gestión de operación y mantenimiento y gestión del desempeño. 4. Normas de seguridad. La seguridad de los datos, como sistema de soporte de los estándares de datos, recorre todas las etapas del ciclo de vida completo de los datos. Además de la seguridad del sistema tradicional y la seguridad de la red, los estándares de seguridad de datos en la era del big data incluyen principalmente estándares de seguridad como requisitos de seguridad generales, desensibilización de datos, seguridad de transacciones y protección de la privacidad. Los requisitos de seguridad generales garantizan principalmente la seguridad de la plataforma de big data desde cuatro aspectos: seguridad de la red, seguridad del host, seguridad de las aplicaciones y seguridad de los datos. 5. Aplicar estándares. Los estándares de aplicación son principalmente estándares especiales basados en los servicios de aplicación que big data puede proporcionar para diversos campos de la sociedad en función de sus características de campo, que incluyen principalmente asuntos gubernamentales, finanzas, transporte, telecomunicaciones, comercio y comercio. cuidados, educación, turismo, industria y agricultura. Para diferentes campos de aplicación, es necesario establecer sistemas estándar correspondientes en función de las condiciones reales para estandarizar el comportamiento de big data.
T/QBDA 1001-2017 Historia
2017T/QBDA 1001-2017 Marco del sistema estándar de Big Data V1.0