市值风云APP装机数百万,借助NineData实现数据高效流通,帮助用户深度剖析1200 上市公司

市值风云是一家专注于A股上市公司财务分析、资本运作、市值管理分析的独立第三方公司,其推出的市值风云App包括行情、研报、上市公司自评级系统、社区、交易等主要功能,深受投资者好评。目前,市值风云 App 已吸引了超过数百万的装机量,在这个背后是市值风云独特的研究方法。

 

 

市值风云现在已研究了超过1200家上市公司,研究的数据全部来自上市公司的公开信息,包括定期报告和公告等。在分析上市公司的同时,市值风云还将其核心研究方法建模,实现了上市公司自动评级,形成了注册制时代基于上市公司全方位大数据的“上市公司评级与智能化分析系统”。

 

市值风云取得的这个成绩,依托的是研究人员、开发人员以及运营人员对海量数据的娴熟运用。从数据库设计、数据查询、数据复制、数据备份等几个方面都设计了非常高效而安全的流程,在这个过程中深度使用了由玖章算术开发的NineData 智能数据管理平台。

 

M

 

   客户说  

 
 

通过 NineData 数据库 DevOps,极大的提升了我们在日常开发工作中的数据查询与变更效率。NineData支持完整的权限管理、审计日志以及敏感数据保护等能力,可以非常好的保护企业的数据安全。再也不必担心数据库用户名密码泄露、开发查询数据拖垮线上数据库等问题。

—— 市值风云杭州研发中心后端负责人 • 徐海伦

 

NineData 是一家聚焦在云计算与数据管理基础技术领域的初创技术型公司,创始人叶正盛,曾担任阿里云数据库产品管理与解决方案部总经理,他意识到对数据和云的使用是未来每个企业发展的关键,所以把 NineData 的使命定为“让每个人用好数据和云”。这与市值风云的实际场景和需求一拍即合,市值风云在杭州的研发中心“吾股科技”就成为了第一批用户,双方随即展开了深度合作。

1. 高效的数据库开发流程与安全查询:NineData 数据库 DevOps

 

企业面临一个很典型的难题是线上数据库访问权限的问题,一般为了安全起见只允许少部分人(比如 DBA 或运维人员)有权限访问线上数据库,开发或其他人员将变更或查询需求提交给有权限的同学代为执行。

 

这在规模很小的时候问题不大,但稍有规模的时候,效率问题就会凸显,这个时候很多企业会选择放开权限,让有需要的人通过 Navicat 这样的客户端工具直连数据库,但这会引入权限、稳定性、数据安全等一系列问题。

 

市值风云当时也面临这样的场景,一方面数据库要开放给开发人员快速变更表结构、查询、订正数据,另一方面数据要开放给研究人员使用,之前都通过指定人员进行,效率成为了很大的问题,通过 NineData 的数据库 DevOps 平台,这些问题得到了完美解决:

 

  • 统一的权限管控。DBA 或管理人员将数据库实例注册到 NineData 平台,NineData 对各云或自建数据库提供了统一而友好的支持。然后为每类人员分配不同的权限,比如给研究人员只读权限、给开发人员一定的数据订正权限等等,避免每个人直连数据库。
  • 强大的 SQL 开发能力。开发人员或研究人员通过 NineData 提供的 SQL 窗口来查询数据,这是一个高频操作,NineData 在这里做了相当多的优化,从智能补全、常用 SQL 保存、SQL 模板到快捷执行等一应俱全,可以极大的提升数据查询的效率,同时还支持完整的权限管理、审计日志以及数据库保护等功能。这就在便捷的访问数据的同时,又能保证数据安全与线上数据库的稳定性。
  • 通过“SQL 任务”功能,研发人员或者 DBA 可以将自己的 SQL 变更定时的发布到生产环境,在这个发布的过程中,可以有多个审批的节点,由不同的人去把控风险。
  • 支持敏感数据的管理。NineData SQL 开发功能会自动去发现在这个实例中是不是有敏感数据,比如用户的联系方式等等,当用户去查询这个敏感数据的时候,默认的会对这些数据进行遮掩保护,用户需要额外的权限才能看到这些敏感数据。

2. 数据自由流动:NineData 数据迁移

 

数据对企业的重要性越来越高决定了我们对数据采集、数据操纵、挖掘的手段也越来越多样,体现在数据库上就是我们会把不同的数据类型放入到不同的数据库中以便更容易或更精化的处理。

 

于是企业就面临着数据存放在不同的数据库、甚至是不同的云上的情况,为了更大的发挥数据的价值,这些数据需要流动起来,常见的情况有:

 

  • 数据从 OLTP 流动到 OLAP 系统中,比如数据仓库、数据湖或实时分析系统的构建。
  • 业务上下游之间的数据流动。如数据从数据库流入到消息系统、搜索系统等。
  • 数据在 OLTP 与 OLTP 数据库之间的流动,比如构建双活系统、业务迁移、构建只读备库等。

市值风云作为一家以数据为本的公司,自然也面临这些场景,比如上市公司的信息要同步到大数据系统进行分析、社区的数据要同步到上下游业务、在北京和深圳构建了灾备系统等等,之前主要是通过开源组件搭建或手工同步的方式进行,容易出错、耗时且不稳定。

 

M

 

   客户说  

 
 

通过 NineData 数据复制功能,很好的提升了我们在数据链路上的稳定性,降低了我们在数据链路上的维护成本,配置新的数据链路非常方便,再也不用担心业务提出新的数据同步需求。

—— 市值风云杭州研发中心运维负责人 • 贾彦华

 

通过 NineData 的数据复制功能,这些问题迎刃而解:

 

  • NineData 数据复制支持多云和多源,支持阿里云、腾讯云、AWS等国内外主流的云厂商,数据库类型上支持 MySQL/SQLServer/Clickhouse 等主流数据库,可以很好的满足企业多变的环境诉求。

  • 同时支持同构和异构复制,比如OLTP之间的流动如是 MySQL 到 MySQL、OLTP 到 OLAP 的流动如 MySQL 到 ClickHouse。满足企业多样化的场景。

  • 功能强大、易用且拥有非常好的性能。功能上包括迁移时预检查、结构和对象迁移,全量数据迁移,增量数据迁移,性能上 TPS 最高可达10万,满足企业绝大多数在线的数据复制诉求。

数据在使用过程中难免会出现数据不一致的情况,比如:

 

  • 通常每一家企业都有多套环境,包括开发测试环境、生产环境、预发环境等,由于环境间的数据结构不一致可能引起发布或程序故障。
  • 在数据发生流动以后,数据难免会出现不一致。
  • 数据库的主备复制、或者只读复制,在这些动态复制的过程中,由于各种原因,也会出现一些数据不一致。

NineData数据对比很好的解决了这些问题:

 

  • NineData数据对比功能提供了包括结构对比、全数据量对比的能力,还支持快速对比和周期性对比。轻松应对各种对比的场景。
  • 可以快速的生成修复差异的DDL或DML语句,方便后续的修复工作。

市值风云通过NineData数据对比中的结构对比,及时监测各个环境间数据结构的不一致,从而预防发布可能出现的问题。
3. 总结

NineData 致力于让每个人用好数据和云,市值风云整体也是建立在数据和云的基础设施之上,正是这种相同的理念让大家走到了一起。未来,市值风云和 NineData 一起携手,轻松实现数据自由流动与高效管理,致力于帮助客户更好地使用云计算技术,创造业务价值。

 

NineData 作为国内领先的云计算与数据管理领域的服务商,通过云原生技术打造全球领先的技术平台,致力于为客户提供高质量的数据管理解决方案。目前已经服务了包括中国移动、沃尔沃、绿城中国、MiniMax 等 TOP 级企业客户。