2024年1月｜云原生智能数据管理平台 NineData 新功能发布！

1. 批量数据库变更

  • 介绍：支持通过 SQL 任务对目标库分组发起批量结构、数据变更，支持基于 SQL 开发规范自动审核 SQL，同时支持审批流程配置多层级审批。

  • 场景：企业有多套环境和多地区的部署，在单个业务数据量庞大的场景下，企业需要采用分库分表的方式来满足查询和存储需求。随着业务的迭代，需要对同一套分库分表进行结构或数据的修改。

  • 操作示例

    i. 创建库分组。

    ii. 提交批量执行 DDL 任务，为该分组中所有库中的 departments 表新增一个列。

    iii. NineData 自动执行批量变更。

2. OnlineDML：“无锁”大批量数据变更

  • 介绍：NineData 的 SQL 任务支持 OnlineDML 功能，在对数据源做大数据量变更的情况下，该功能可以自动将变更拆成多个语句分批执行，避免大量数据变更引起的表阻塞，影响业务。

  • 场景：企业需要清理订单库中多年前的历史数据，涉及千万行级别的删除操作，只用一条 DML 的情况下会对业务库造成较大影响，因此需要用到 NineData 的 OnlineDML 功能来实现无锁数据变更。

  • 操作示例：

    i. 发起变更任务。

    ii. 执行变更（支持定时执行）。

3. 数据归档

  • 介绍：NineData 支持数据归档功能，支持将不再使用的数据归档到另一个数据库中进行备份，以空出业务库的存储空间，优化性能。支持一次性执行和周期性自动执行。

  • 场景：在线数据运行一段时间后，随着数据量的显著增加，业务数据的写入、更新和查询性能可能会受到一定影响。同时，过去一段时间内的数据通常不再被频繁查询使用，但在数据库中却占用着存储空间。为了满足性能优化和在线存储空间的需求，需要对符合条件的数据进行归档管理，同时对已经归档的数据进行清理。

  • 操作示例：发起数据归档任务，基于所选时间字段和天数，自动判断需要归档的数据。

4. SQL 审核大规模更新

  • 介绍：支持基于数据库中的慢查询日志，以及全量查询日志进行 SQL 语句的审核。除此之外，新增差量审核功能，该功能会结合最近一次审核通过的历史 SQL 审核结果，对比当前提交的 SQL 语句，帮助您迅速获取两次审核的差异化结果。

  • 场景：企业需要分析近段时间数据库中产生的慢查询，以查找导致性能问题的原因。或者对于线上执行的 SQL 语句进行实时分析。

  • 操作示例：

    i. 创建 SQL 审核任务，将数据库中的慢查询日志作为 SQL 来源，选择差量审核。

    ii. 查看差量审核结果。

5. 新增 SQL 任务中对于 NoSQL 类型数据源的命令执行权限管理

  • 介绍：对于 MongoDB 和 Redis 数据源，可配置允许用户执行的命令列表，以禁止用户通过 SQL 任务使用一些高风险的命令，保障数据库的安全性。

  • 场景：企业需要防止用户执行一些高风险命令，例如 dropDatabase、dropColection 等威胁数据安全的命令。

  • 操作示例：

6. 新增 SQL 任务中对于 DDL 更改的并发控制

  • 介绍：新增规则：“NoSQL 类型数据库 SQL 任务支持命令“，用于控制 SQL 任务执行 DDL 语句的并发度。

  • 场景：生产环境中开发人员对业务库做 DDL 更改，为了保证业务库的稳定性，需要限制在同一时间对相同库做 DDL 操作的次数。

  • 操作示例：

    i. 开启规则，并将并发度设置为 1。

    ii. 创建 SQL 任务，对目标表进行 DDL 操作，为了体现并发控制效果，我们加入了一个 500 秒的 SLEEP 命令。

    iii. 任务开始执行以后，再重新创建一个 SQL 任务，在同一个库中再次执行类似 DDL，将提示获取资源锁失败，目标任务（任务 ID）正在执行，并发控制成功。

7. 结构转换

  • 介绍：NineData 结构转换支持异构数据源之间表结构的转换，转换完成后，您可以在目标数据源中执行，完成异构建表的操作。

  • 场景：企业需要进行数据仓库建设，数据来自不同的数据源，需要对异构数据源的表结构进行转换，以成功将这些数据整合到数据仓库中。

  • 操作示例：

    i. 创建结构转换任务：

    ii. 查看转换结果，选中目标数据库并执行。

8. Oracle 到 SingleStore 的数据复制链路

  • 介绍：NineData 数据复制支持将 Oracle 中的数据复制到 SingleStore，支持结构、全量数据、增量数据的复制，可以确保不停机完成迁移。

  • 场景：企业需要进行数据分析工作，而主业务库（Oracle）专注于事务性工作的负载，因此需要将数据交给 SingleStore 承担分析工作的压力。

9. Oracle 到 MySQL 的数据复制链路

  • 介绍：NineData 数据复制支持将 Oracle 中的数据复制到 MySQL，支持结构、全量数据、增量数据的复制，可以确保不停机完成迁移。

  • 场景：出于成本控制的考虑，企业需要将 Oracle 的数据迁移到 MySQL，同时业务库较为繁忙，无法停机，需要在不停机的情况下完成业务迁移。

👇👇 点击"阅读原文"，立即体验NineData！