搜索结果：spark（47 个）

支持 Android、iOS、macOS、Windows 和 Linux 的跨平台漫画浏览器。

面向大规模数据处理的统一分析引擎。

Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API，风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题，提供批流一体的编程模型，深度整合 BigQuery、Pub/Sub 等 GCP 服务，并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。

一款漫画浏览器，支持 Android、iOS、MacOS、Windows 和 Linux。

GeoMesa 是一个分布式大规模地理空间数据处理套件。它解决了海量时空数据的存储、查询与实时分析难题。核心功能包括在 HBase、Cassandra 等分布式数据库上构建时空索引，结合 Kafka 实现流式空间数据处理，并支持 Spark 分布式分析与 GeoServer（WFS/WMS）地图集成。

方便在 Ruby 中轻松解析和处理 XML 与 HTML 的库。

SynapseML（原 MMLSpark）是基于 Apache Spark 的分布式机器学习库，主要解决大规模数据下构建 ML 流水线复杂度高的问题。它无缝兼容 SparkML API，支持在弹性集群上分布式训练，覆盖文本分析、计算机视觉、异常检测及深度学习等任务，并支持 Python、Scala 等多语言调用。

官方 Codex 桌面应用镜像，每 15 分钟探测更新，提供国内直连下载、SHA256 校验及 Mac 增量更新。

Spark NLP 是基于 Apache Spark 构建的工业级 NLP 与大模型库，解决大规模文本处理在分布式环境中难以扩展的痛点。它提供实体识别、文本分类、问答等功能，内置超 10 万个预训练模型与管道，并支持导入 TensorFlow、ONNX 及 GGUF 模型。

Apache Kyuubi 是一个分布式、多租户的 Serverless SQL 网关。它提供类 HiveServer2 的 JDBC/ODBC 接口，让开发者无需 Spark 背景，直接用纯 SQL 即可查询数仓与数据湖的大规模数据。服务端支持多租户架构，实现资源隔离、高并发与高可用。

可扩展、分布式梯度提升库（GBDT/GBM），支持多语言并可在单机及 Spark、Flink 等集群运行。

almond 是一个专为 Jupyter 打造的 Scala 内核（Kernel）。它解决了无法直接在 Jupyter Notebook 中编写和运行 Scala 的问题，提供交互式 REPL 环境，并支持 Spark 与 Spark SQL，方便开发者进行 Scala 数据分析与交互式编程。

Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流，将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式，无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。

spark-testing-base 是一个用于 Spark 应用程序测试的基础库。它解决了每次编写测试时都要手动搭建和销毁本地 Spark 运行环境的麻烦。核心功能是提供预设的测试基类，让开发者直接继承即可快速编写针对 Spark 的单元测试，支持 Scala 和 Python。

MLeap 专注于简化机器学习流水线的生产部署。它支持将 Spark 或 Scikit-learn 训练的流水线导出为便携格式（JSON/Protobuf），并直接在轻量级 JVM 运行时上执行，完全脱离对 Spark、sklearn 等重型环境的依赖，实现高性能、跨平台的快速推理。

FiloDB 是一款用 Scala 编写的分布式内存时序数据库，主要解决海量指标和事件数据的大规模实时摄取与查询难题。它支持直接从 Kafka 流式摄取并自动分片，兼容 Prometheus 的 PromQL 查询语言，具备基于标签的高效索引及 Spark 支持，适合构建超大规模运维监控系统。

GeoTrellis 是一个高性能地理数据处理框架，采用 Scala 编写。它主要解决大规模地理空间栅格与矢量数据的读写与运算难题，支持栅格代数计算；同时深度整合 Spark，并提供针对 S3、HBase 等外部存储及 GDAL、GeoTools 的扩展支持。

DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码，通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行，避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle，显著提升查询性能并降低计算成本。

〔中文简介暂未生成〕 GraphFrames is a package for Apache Spark which provides DataFrame-based Graphs

cudf-spark（原 RAPIDS Accelerator for Apache Spark）是 NVIDIA 开源的 Spark 插件。它利用 cuDF 库调用 GPU 加速 Apache Spark 的大数据处理；其核心功能是在保证计算结果与原生 Spark 严格一致的同时，通过 GPU 提升 SQL 性能，并支持向 XGBoost 等 GPU 应用零拷贝传输数据。