novelso
本站致力于IT相关技术的分享
使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制 使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制
我们团队的一个核心数据平台遇到的瓶颈，不是计算或存储，而是元数据管理。具体来说，是针对同一个 Delta Lake 表的高并发写入冲突。业务场景要求多个独立的ETL作业、流处理应用，甚至一些临时的数据修复脚本，同时对一张核心事实表进行追加写
2023-10-27 数据工程
Pulumi Zookeeper Delta Lake IaC 分布式锁
构建管理动态密钥与服务监控的Azure AKS Operator实践 构建管理动态密钥与服务监控的Azure AKS Operator实践
一个典型的应用部署到Kubernetes，其Deployment YAML往往是混乱的开始。配置散落在ConfigMap里，敏感信息要么通过CI/CD管道注入，要么更糟，被base64编码后提交到Git仓库。监控配置则完全是另一回事，需要S
2023-10-27 云原生
Go Azure AKS HashiCorp Vault Prometheus Kubernetes Operator
构建基于GitOps与Pulsar的实时特征存储及自动化质量监控系统 构建基于GitOps与Pulsar的实时特征存储及自动化质量监控系统
构建一个机器学习特征存储（Feature Store）的初衷，是为了解决模型训练与在线推理之间特征计算不一致的经典问题。但一个只解决了“一致性”的特征存储在生产环境中远远不够，很快它就会演变成一个难以维护、质量参差不齐的数据沼泽。真正的挑战
2023-10-27 数据工程
Seaborn Feature Store Pulsar Code Review Cypress
在 EKS 上利用 RabbitMQ 作为通信层的 Paxos 分布式锁实现 在 EKS 上利用 RabbitMQ 作为通信层的 Paxos 分布式锁实现
团队在 AWS EKS 上运行的微服务集群规模扩大后，一个老问题再次浮出水面：分布式锁。之前依赖 Redis 的 SETNX 做一些简单的锁，但在一些对一致性要求更高的场景，比如关键任务调度、资源竞态分配，这种方案的可靠性不足以让我们安心。
2023-10-27 分布式系统
Paxos 算法 RabbitMQ AWS EKS Express.js
使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控 使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控
我们面临一个日益普遍的问题：多个微服务以半结构化的JSON格式向集中式日志系统抛出大量事件。这些事件混杂了业务指标、调试信息和潜在的错误堆栈。直接将这些原始数据流对接到下游的分析系统或错误监控平台，不仅成本高昂，而且效率低下。关键的错误信号
2023-10-27 数据工程
Pulsar Kotlin 数据处理 Sentry 事件驱动架构
实现 MongoDB 驱动的 Trino 集群声明式 GitOps 部署自动化 实现 MongoDB 驱动的 Trino 集群声明式 GitOps 部署自动化
管理多个 Trino 集群是一项繁琐且易错的工作。不同业务团队对计算资源、数据源连接器、JVM 参数的需求各不相同，导致配置文件急剧膨胀。传统的手动修改 Helm values.yaml 并执行 helm upgrade 的方式，不仅效率低
2023-10-27 DevOps
MongoDB Trino Ansible Argo CD
2 / 5