搜索结果:arq(5 个)
按分类缩小范围
pandas-ai
综合 68
结合 LLM 与 RAG,支持与 SQL、CSV、parquet 等数据库或数据湖对话分析。
delta-sharing
综合 64
Delta Sharing 是开源的安全数据共享协议,解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据,提供 Python、Spark 连接器及参考服务端,支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。
scio
综合 63
Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API,风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题,提供批流一体的编程模型,深度整合 BigQuery、Pub/Sub 等 GCP 服务,并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。
datafusion-comet
综合 58
DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码,通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行,避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle,显著提升查询性能并降低计算成本。
ratatool
综合 52
〔中文简介暂未生成〕 A tool for data sampling, data generation, and data diffing