搜索结果:spark(16 个)
按分类缩小范围
typescript-eslint
综合 69
让 ESLint 支持检查 TypeScript 代码的完整工具链仓库。
bootswatch
综合 60
Bootstrap 开源主题合集。
sushitrain
综合 50
基于 Syncthing 在 iOS 设备上安全同步文件的应用。
wax
综合 42
一款漫画浏览器,支持 Android、iOS、MacOS、Windows 和 Linux。
nokogiri
综合 42
方便在 Ruby 中轻松解析和处理 XML 与 HTML 的库。
codex-app-mirror
综合 41
官方 Codex 桌面应用镜像,每 15 分钟探测更新,提供国内直连下载、SHA256 校验及 Mac 增量更新。
spark-nlp
综合 41
Spark NLP 是基于 Apache Spark 构建的工业级 NLP 与大模型库,解决大规模文本处理在分布式环境中难以扩展的痛点。它提供实体识别、文本分类、问答等功能,内置超 10 万个预训练模型与管道,并支持导入 TensorFlow、ONNX 及 GGUF 模型。
xgboost
综合 41
可扩展、分布式梯度提升库(GBDT/GBM),支持多语言并可在单机及 Spark、Flink 等集群运行。
almond
综合 40
almond 是一个专为 Jupyter 打造的 Scala 内核(Kernel)。它解决了无法直接在 Jupyter Notebook 中编写和运行 Scala 的问题,提供交互式 REPL 环境,并支持 Spark 与 Spark SQL,方便开发者进行 Scala 数据分析与交互式编程。
gluten
综合 40
Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流,将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式,无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。
geotrellis
综合 40
GeoTrellis 是一个高性能地理数据处理框架,采用 Scala 编写。它主要解决大规模地理空间栅格与矢量数据的读写与运算难题,支持栅格代数计算;同时深度整合 Spark,并提供针对 S3、HBase 等外部存储及 GDAL、GeoTools 的扩展支持。
datafusion-comet
综合 40
DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码,通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行,避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle,显著提升查询性能并降低计算成本。
cudf-spark
综合 40
cudf-spark(原 RAPIDS Accelerator for Apache Spark)是 NVIDIA 开源的 Spark 插件。它利用 cuDF 库调用 GPU 加速 Apache Spark 的大数据处理;其核心功能是在保证计算结果与原生 Spark 严格一致的同时,通过 GPU 提升 SQL 性能,并支持向 XGBoost 等 GPU 应用零拷贝传输数据。
delta-sharing
综合 40
Delta Sharing 是开源的安全数据共享协议,解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据,提供 Python、Spark 连接器及参考服务端,支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。
incubator-toree
综合 40
Apache Toree 是一个专为 Apache Spark 打造的 Jupyter Notebook 内核,主要支持 Scala 语言。它让开发者能通过 Jupyter 交互式连接 Spark 集群,直接编写并运行 Spark 任务、执行代码片段、加载依赖并即时获取计算结果。
spark-solr
综合 38
spark-solr 是由 Lucidworks 开源的 Spark 与 Solr 集成工具。它主要解决两者之间的数据互通问题,核心功能包括:将 Solr 中的数据读取为 Spark DataFrame 或 RDD 进行分布式处理,以及利用 SolrJ 将 Spark 中的对象数据批量索引写入 Solr。