给做数据的同学们分享一下：数据平台数据接入实践
一般而言，进行数据接入时将可能碰到如下问题：
- 数据源多种多样，常见的比如：各类关系型数据库、NoSQL 数据库、日志数据等。如何处理这么多种类型的数据源？
- 数据接入的策略是什么样的？时机如何选择？频率如何确定？
- 数据接入不能对业务系统的稳定性产生影响，如何实现？
- 数据入库后，如何在数据仓库中进行存储和管理？
- 如何保证多张入库表的数据一致性？
- 如何和业务系统开发团队分工协作？
下面将结合我们在项目中的实践，分享一下我们的思考。
完整内容请移步： https://brightliao.com/2021/03/01/data-ingestion-practice/
#如何 #数据 #数据源 #接入 #入库 #数据库 #NoSQL #数据仓库 #https #brightliao
一般而言，进行数据接入时将可能碰到如下问题：
- 数据源多种多样，常见的比如：各类关系型数据库、NoSQL 数据库、日志数据等。如何处理这么多种类型的数据源？
- 数据接入的策略是什么样的？时机如何选择？频率如何确定？
- 数据接入不能对业务系统的稳定性产生影响，如何实现？
- 数据入库后，如何在数据仓库中进行存储和管理？
- 如何保证多张入库表的数据一致性？
- 如何和业务系统开发团队分工协作？
下面将结合我们在项目中的实践，分享一下我们的思考。
完整内容请移步： https://brightliao.com/2021/03/01/data-ingestion-practice/
#如何 #数据 #数据源 #接入 #入库 #数据库 #NoSQL #数据仓库 #https #brightliao
发现一个多 mysql 管理框架 可以研究下
在分享 https://v2ex.com/t/88543 申请免费 mysql 空间时，发现一个 mysql 管理框架，觉得值得研究。
作为一个用于部署、扩展和管理大型 MySQL 实例集群的数据库解决方案，Vitess 结合了 Mysql 数据库的许多重要功能和 NoSQL 数据库的可扩展性。它的架构设计使你可以在公共或私有云架构中像在物理机上一样有效地运行它。它结合并扩展了许多重要的 MySQL 功能和 NoSQL 数据库的可扩展性。Vitess 可以帮助你解决以下问题。
支持您对 MySQL 数据库进行切分，以扩展 MySQL 数据库，而不需要对您的应用进行太大的改动。
从物理机迁移到私有云或公共云。
部署和管理大量的 MySQL 实例。
Vitess 包括使用与本地查询协议兼容的 JDBC 和 Go 数据库驱动程序。此外，它还实现了 mysql 服务器协议，几乎与任何其他语言兼容。
自 2011 年以来，Vitess 一直为 YouTube 拥有的数据库提供服务，现在已经被许多公司采用并用于实际生产。
二．项目地址
地址： https://github.com/vitessio/vitess
文档： https://vitess.io/zh/docs/
#数据库 #MySQL #Vitess #https #mysql #可扩展性 #com #NoSQL #vitess #扩展
在分享 https://v2ex.com/t/88543 申请免费 mysql 空间时，发现一个 mysql 管理框架，觉得值得研究。
作为一个用于部署、扩展和管理大型 MySQL 实例集群的数据库解决方案，Vitess 结合了 Mysql 数据库的许多重要功能和 NoSQL 数据库的可扩展性。它的架构设计使你可以在公共或私有云架构中像在物理机上一样有效地运行它。它结合并扩展了许多重要的 MySQL 功能和 NoSQL 数据库的可扩展性。Vitess 可以帮助你解决以下问题。
支持您对 MySQL 数据库进行切分，以扩展 MySQL 数据库，而不需要对您的应用进行太大的改动。
从物理机迁移到私有云或公共云。
部署和管理大量的 MySQL 实例。
Vitess 包括使用与本地查询协议兼容的 JDBC 和 Go 数据库驱动程序。此外，它还实现了 mysql 服务器协议，几乎与任何其他语言兼容。
自 2011 年以来，Vitess 一直为 YouTube 拥有的数据库提供服务，现在已经被许多公司采用并用于实际生产。
二．项目地址
地址： https://github.com/vitessio/vitess
文档： https://vitess.io/zh/docs/
#数据库 #MySQL #Vitess #https #mysql #可扩展性 #com #NoSQL #vitess #扩展
[杭州]NoSQL 数据库产品开发工程师
职位描述
1 、打造世界领先的云原生 NoSQL 云服务平台产品，作为核心产品服务火山云用户和抖音业务系统；
2 、研发下一代 NoSQL 云数据库产品和平台，通过技术手段为企业提升数据价值；
3 、在产品核心性能、体验、稳定性、成本等相关领域持续提升改进，以支持海量客户；
4 、对产业和学术界的创新理论，进行深入研究，并落地于生产环境中。
职位要求
1 、具备数据库领域相关的开发工作经验，掌握分布式、操作系统、网络、数据库等工作原理；
2 、熟练使用 C/C++/Rust/Go/Python/Java 一种以上，良好的数据结构和算法基础；
3 、对高性能、大规模编程有实践经验，并追求企业级的产品质量；
4 、熟练使用 K8S ，并掌握工作原理者优先；
5 、掌握 Redis 、MongoDB 、HBase 、RocksDB 等数据库源码优先，开源社区贡献者优先。
邮箱：bWlrZXd1MDE2QGdvb2dsZS5jb20=
#数据库 #NoSQL #优先 #掌握 #产品 #熟练 #职位 #原理 #工作 #企业级
职位描述
1 、打造世界领先的云原生 NoSQL 云服务平台产品，作为核心产品服务火山云用户和抖音业务系统；
2 、研发下一代 NoSQL 云数据库产品和平台，通过技术手段为企业提升数据价值；
3 、在产品核心性能、体验、稳定性、成本等相关领域持续提升改进，以支持海量客户；
4 、对产业和学术界的创新理论，进行深入研究，并落地于生产环境中。
职位要求
1 、具备数据库领域相关的开发工作经验，掌握分布式、操作系统、网络、数据库等工作原理；
2 、熟练使用 C/C++/Rust/Go/Python/Java 一种以上，良好的数据结构和算法基础；
3 、对高性能、大规模编程有实践经验，并追求企业级的产品质量；
4 、熟练使用 K8S ，并掌握工作原理者优先；
5 、掌握 Redis 、MongoDB 、HBase 、RocksDB 等数据库源码优先，开源社区贡献者优先。
邮箱：bWlrZXd1MDE2QGdvb2dsZS5jb20=
#数据库 #NoSQL #优先 #掌握 #产品 #熟练 #职位 #原理 #工作 #企业级
Kvrocks 在货拉拉全链路 Trace 下的应用
传统 Trace 场景下，没有完全符合 Trace 场景的存储数据库，在业务量增长的情况下，一款高性能、大容量、持久化的 NoSQL 存储数据库就越来越重要。Kvrocks 基于 RocksDB 之上支持 redis 协议的 kv 数据库，相比于其它的同类开源产品，它更年轻，因此框架功能更简洁，历史包袱更小，并且社区活跃度很高，我们最终选择了 Kvrocks 为基础进行二次开发。
https://mp.weixin.qq.com/s?__biz=MzUxNTg5NzM1Nw==&mid=2247484003&idx=1&sn=a3d9cf9f25bef97e90c8b8609b336e2b&chksm=f9aee301ced96a17329526b0a5296b9bf90fdb9798686baf950f53d08d4e003baf812353a321&token=25612059&lang=zh_CN#rd
#数据库 #Trace #Kvrocks #存储 #场景 #二次开发 #NoSQL #RocksDB #redis #kv
传统 Trace 场景下，没有完全符合 Trace 场景的存储数据库，在业务量增长的情况下，一款高性能、大容量、持久化的 NoSQL 存储数据库就越来越重要。Kvrocks 基于 RocksDB 之上支持 redis 协议的 kv 数据库，相比于其它的同类开源产品，它更年轻，因此框架功能更简洁，历史包袱更小，并且社区活跃度很高，我们最终选择了 Kvrocks 为基础进行二次开发。
https://mp.weixin.qq.com/s?__biz=MzUxNTg5NzM1Nw==&mid=2247484003&idx=1&sn=a3d9cf9f25bef97e90c8b8609b336e2b&chksm=f9aee301ced96a17329526b0a5296b9bf90fdb9798686baf950f53d08d4e003baf812353a321&token=25612059&lang=zh_CN#rd
#数据库 #Trace #Kvrocks #存储 #场景 #二次开发 #NoSQL #RocksDB #redis #kv