什么是数据湖？

数据湖是组织可以存储结构化和非结构化数据的集中位置。该系统允许数据按原样存储，并可以运行有助于决策的分析。数据湖帮助公司从数据中获得更多价值。

公司经常使用关系数据库来存储和管理数据，以便可以轻松访问并找到他们需要的信息。

什么是数据湖？

数据湖用例

数据湖的低成本和开放格式使其成为现代数据架构必不可少的。此数据存储解决方案的潜在用例包括：

• 媒体和娱乐：数字流媒体服务可以通过改进其推荐系统来增加收入，从而影响用户消费更多服务。 
• 电信：跨国电信公司可以使用数据湖通过构建减少客户流失的流失倾向模型来节省资金。
• 金融服务：投资公司可以使用数据湖来支持机器学习，从而在获得实时市场数据时管理投资组合风险。 

数据湖的好处

当组织可以在合理的时间范围内利用来自各种来源的更多数据时，他们可以更好地协作、分析信息并做出明智的决策。主要优点解释如下：

• 改善客户互动。数据湖可以组合来自多个位置的客户数据，例如客户关系管理、社交媒体分析、购买历史和客户服务单。这会告知组织潜在的客户流失和提高忠诚度的方法。

• 创新研发。研发 (R&D) 团队使用数据湖来更好地测试假设、改进假设和分析结果。

• 提高运营效率。公司可以轻松地对机器生成的物联网 (IoT)数据进行分析，以确定改进业务运营流程、质量和投资回报率的潜在方法。

• 电力数据科学和机器学习。 原始数据被转换为用于 SQL 分析、数据科学和机器学习的结构化数据。由于成本低，原始数据可以无限期保存。 
• 集中数据源。数据湖消除了数据孤岛的问题，支持轻松协作并为下游用户提供单一数据源。
• 集成不同的数据源和格式。任何数据都可以无限期地存储在数据湖中，从而为最新信息创建集中存储库。
• 通过自助服务工具使数据民主化。这种灵活的存储解决方案支持具有不同技能、工具和语言的用户之间的协作。 

数据湖挑战

虽然数据湖有其好处，但它们并非没有挑战。实施数据湖的组织应始终注意以下潜在困难：

• 可靠性问题：这些问题是由于难以组合批处理和流数据以及数据损坏等因素造成的。
• 性能慢：数据湖越大，传统查询引擎的性能越慢。元数据管理和不正确的数据分区可能会导致瓶颈。
• 安全性：由于可见性有限且缺乏删除或更新数据的能力，如果不采取额外措施，很难保护数据湖。

数据湖基本要素

数据湖充当组织内数据的单一事实来源。数据湖的基本元素涉及数据本身以及数据的使用和存储方式。 

• 数据移动：数据可以以原始形式实时导入，无论大小。 
• 分析：分析师、数据科学家和组织内其他相关利益相关者可以访问的信息。可以使用员工的分析工具或选择的框架访问数据。
• 机器学习：组织可以产生各种类型的有价值的见解。机器学习软件用于预测为组织内的行动计划提供信息的潜在结果。

数据湖最佳实践

组织良好的数据湖最有效。以下最佳实践可用于此目的：

• 存储原始数据。数据湖应配置为以源格式收集和存储数据。这使科学家和分析师能够以独特的方式查询数据。 
• 实施数据生命周期策略。这些策略规定了数据在进入数据湖时会发生什么，以及数据在何处以及何时被存储、移动和/或删除。
• 使用对象标记：这允许跨区域复制数据，通过提供对具有特定标记的对象的访问来简化安全权限，并启用过滤以便于分析。

数据湖与数据仓库

数据仓库经过优化，可以 分析来自事务系统和业务线应用程序的关系数据。此数据具有预定义的结构和架构，允许更快的 SQL 查询。这些数据经过清理、丰富和转换为用户的单一事实来源。

数据湖存储来自业务线应用程序的关系数据和来自应用程序、社交媒体和物联网设备的非关系数据。与数据仓库不同，没有定义的模式。数据湖是可以存储所有数据的地方，以防将来出现问题。