novelso
本站致力于IT相关技术的分享
构建基于GitOps与Pulsar的实时特征存储及自动化质量监控系统 构建基于GitOps与Pulsar的实时特征存储及自动化质量监控系统
构建一个机器学习特征存储（Feature Store）的初衷，是为了解决模型训练与在线推理之间特征计算不一致的经典问题。但一个只解决了“一致性”的特征存储在生产环境中远远不够，很快它就会演变成一个难以维护、质量参差不齐的数据沼泽。真正的挑战
2023-10-27 数据工程
Seaborn Feature Store Pulsar Code Review Cypress
使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制 使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制
我们团队的一个核心数据平台遇到的瓶颈，不是计算或存储，而是元数据管理。具体来说，是针对同一个 Delta Lake 表的高并发写入冲突。业务场景要求多个独立的ETL作业、流处理应用，甚至一些临时的数据修复脚本，同时对一张核心事实表进行追加写
2023-10-27 数据工程
Pulumi Zookeeper Delta Lake IaC 分布式锁
使用 Swift Vapor 构建一个响应 GitHub Webhook 的自动化 SBOM 生成器 使用 Swift Vapor 构建一个响应 GitHub Webhook 的自动化 SBOM 生成器
在团队中推行软件供应链安全时，第一个遇到的障碍往往是流程的自动化。为每个 Swift 项目手动生成软件物料清单（SBOM）不仅繁琐，而且极易遗忘。现有的 CI/CD 平台虽然功能强大，但对于只想在每次代码提交后执行一个轻量级、特定任务的场景
2023-10-27 后端开发
Swift Backend GitHub Vapor CI/CD DevSecOps
构建基于 ActiveMQ 的持久化微前端事件总线与状态同步机制 构建基于 ActiveMQ 的持久化微前端事件总线与状态同步机制
我们团队维护一个复杂的内部运营平台，其前端架构在三年前就演进到了微前端（Micro-frontend）。最初，各个微应用间的通信依赖于 Custom Events 和一个共享的全局状态库，这种方案在系统规模尚小时尚可应付。但随着业务复杂度的
2023-10-27 架构设计
ActiveMQ Turbopack ORM Micro-frontends WebSocket Prisma
构建管理动态密钥与服务监控的Azure AKS Operator实践 构建管理动态密钥与服务监控的Azure AKS Operator实践
一个典型的应用部署到Kubernetes，其Deployment YAML往往是混乱的开始。配置散落在ConfigMap里，敏感信息要么通过CI/CD管道注入，要么更糟，被base64编码后提交到Git仓库。监控配置则完全是另一回事，需要S
2023-10-27 云原生
Go Azure AKS HashiCorp Vault Prometheus Kubernetes Operator
使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控 使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控
我们面临一个日益普遍的问题：多个微服务以半结构化的JSON格式向集中式日志系统抛出大量事件。这些事件混杂了业务指标、调试信息和潜在的错误堆栈。直接将这些原始数据流对接到下游的分析系统或错误监控平台，不仅成本高昂，而且效率低下。关键的错误信号
2023-10-27 数据工程
Pulsar Kotlin 数据处理 Sentry 事件驱动架构
2 / 5