《论数据湖技术及其应用》考点详解？

2. 详细阐述数据湖技术，并从主要数据来源、数据模式（Schema）转换时机、数据存储成本、数据质量、面对用户和主要支撑应用类型等5个方面详细论述数据湖技术与数据仓库技术的差异

数据湖技术概述

数据湖技术是一种集中式存储和处理大规模数据的技术架构，旨在存储所有类型的数据（结构化、半结构化和非结构化数据），并允许对这些数据进行多种分析处理。数据湖不仅仅是存储，更重要的是提供了一个灵活的分析平台，支持批处理、流处理、机器学习等多种数据处理和分析需求。它强调数据的原始性和完整性，允许用户在需要时定义数据的用途和处理方式。

数据湖技术与数据仓库技术的差异

1. 主要数据来源

数据仓库主要面向结构化数据，通常来源于企业内部的业务系统，如ERP、CRM等。数据在进入数据仓库前，需要经过ETL（Extract, Transform, Load）过程，将数据清洗、转换并加载到仓库中。而数据湖则更加开放和包容，其数据来源更加广泛，不仅包括结构化数据，还包括半结构化数据（如JSON、XML）和非结构化数据（如文本、图像、视频）。数据湖允许以原始格式存储数据，不必在数据摄入时进行严格的预处理。

2. 数据模式（Schema）转换时机

数据仓库强调模式先行，即在数据加载到仓库之前，必须先定义好数据的模式（Schema）。这种模式化的数据结构使得查询和分析变得高效，但限制了数据的灵活性和多样性。相比之下，数据湖采用模式后置（Schema-on-Read）的方式，即数据在摄入时不需要预定义模式，而是允许在数据分析和处理时再定义模式。这种方式提高了数据的灵活性和可扩展性，使得数据湖能够轻松应对新的数据类型和分析需求。

3. 数据存储成本

数据仓库通

本篇完！