登录 注册

spark-solr

去点 Star
其他
445
Stars
—
Forks
0
Watchers
—
Open Issues
待补全
许可证
Scala
语言
—
创建时间
最近更新

项目能做什么

spark-solr 是由 Lucidworks 开源的 Spark 与 Solr 集成工具。它主要解决两者之间的数据互通问题，核心功能包括：将 Solr 中的数据读取为 Spark DataFrame 或 RDD 进行分布式处理，以及利用 SolrJ 将 Spark 中的对象数据批量索引写入 Solr。
来源：AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录，命令与配置均以原文为准。
原始 README 摘录（英文原文，节选前 3000 字符） 
= Lucidworks Spark/Solr Integration
:toc:
:toclevels: 4
:toc-placement!:
:toc-title:

This project includes tools for reading data from Solr as a Spark DataFrame/RDD and indexing objects from Spark into Solr using SolrJ.

toc::[]

//tag::version-compatibility[]
== Version Compatibility

The spark-solr project has several releases, each of which support different versions of Spark and Solr. The compatibility
chart below shows the versions supported across the past releases. 'Connector' refers to the 'spark-solr' library

[width="40%",frame="topbot",options="header,footer"]
|======================
|Connector      | Spark | Solr
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/4.0.2/jar[4.0.2]   | 3.1.2 | 8.11.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/4.0.1/jar[4.0.1]   | 3.1.2 | 8.11.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/4.0.0/jar[4.0.0]   | 3.1.2 | 8.9.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.10.0/jar[3.10.0]   | 2.4.5 | 8.9.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.9.0/jar[3.9.0]   | 2.4.5 | 8.3.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.8.0/jar[3.8.1]   | 2.4.5 | 8.3.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.8.0/jar[3.8.0]   | 2.4.5 | 8.3.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.7.0/jar[3.7.0]   | 2.4.4 | 8.3.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.6.6/jar[3.6.6]   | 2.4.3 | 8.2.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.6.0/jar[3.6.0]   | 2.4.0 | 7.5.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.5.8/jar[3.5.19]  | 2.3.2 | 7.6.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.4.5/jar[3.4.5]   | 2.2.1 | 7.2.1
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.3.4/jar[3.3.4]   | 2.2.0 | 7.1.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.2.2/jar[3.2.2]   | 2.2.0 | 6.6.1
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.1.1/jar[3.1.1]   | 2.1.1 | 6.6.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/3.0.4/jar[3.0.4]   | 2.1.1 | 6.5.1
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/2.4.0/jar[2.4.0]   | 1.6.3 | 6.4.2
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/2.3.4/jar[2.3.4]   | 1.6.3 | 6.3.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/2.2.3/jar[2.2.3]   | 1.6.2 | 6.1.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/2.1.0/jar[2.1.0]   | 1.6.2 | 6.1.0
|https://search.maven.org/artifact/com.lucidworks.spark/spark-solr/2.0.4/jar[2.0.4]   | 1.6.1 | 5.5.2
|======================


//tag::getting-started[]
== Getting started

=== Import jar File via spark-shell

[source]
cd $SPARK_HOME
./bin/spark-shell --jars spark-solr-{version}-shaded.jar

The shaded jar can be download
阅读完整原文

项目深度分析 AI 生成

Spark 3.x / Solr 9.x 商业 LTS 与维护支持

产品构想官方版本支持仅停留在 Spark 3.1.2 与 Solr 8.11.0，针对仍有 Solr 资产的企业提供 Spark 3.4+/Solr 9+ 的补丁升级、预编译二进制包和长期维护支持。
核心功能Spark 3.4+/3.5+ 适配、Solr 9.x 客户端兼容、漏洞修复、针对最新云原生环境的预编译 shaded jar。
目标用户需要升级 Spark/Solr 技术栈但受限于连接器断更的存量企业客户（推测）。
难度/周期高 · 2-3 个月 · 成本：中等（需维护多版本矩阵测试环境）
收费模式年度商业订阅（LTS 订阅费）、定制补丁费。
竞争风险开源社区可能重新恢复维护；Solr 增量市场萎缩导致客户基数有限。
依据 已验证事实

Solr 到现代数仓/向量引擎的批量迁移套件

产品构想基于 spark-solr 构建现成的数据抽取与转换工具，帮助企业将历史 Solr 索引批量导出并平滑迁移至 OpenSearch、Elasticsearch 或向量数据库。
核心功能Schema 自动推断、深度分页高性能导出、数据校验对账、写入目标库的速率控制与重试机制。
目标用户正在做搜索引擎技术栈现代化改造的企业技术团队。
难度/周期中等 · 1-2 个月 · 成本：低（主要为开发和测试资源）
收费模式按迁移数据规模收取软件 License 费用或打包迁移专家服务费。
竞争风险迁移是一次性需求，复购率极低；客户可能选择自行编写简单 Spark 脚本。
依据 数据支持的判断

企业级搜索数据流水线性能调优与技术咨询

产品构想提供针对千万/亿级文档从 Spark 灌库到 Solr 的吞吐调优、数据倾斜处理及 ZooKeeper/SolrCloud 稳定性支持服务。
核心功能建索引批处理参数调优诊断、分片路由与写入对齐优化、Kerberos/SSL 安全加固配置方案。
目标用户面临大规模写入延迟高、Solr 节点 OOM、批量建索引瓶颈的企业大数据与搜索团队。
难度/周期中等 · 2-4 周（按项目交付） · 成本：极低（纯人天专家服务）
收费模式按人天或项目制收取的专家咨询费。
竞争风险服务无法规模化扩展；难以获得稳定的销售线索。
依据 尚需验证的假设
AI 基于仓库公开数据分析生成，含推测成分，不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

相似项目数据正在完善中，暂不展示（避免误导）

项目优势与风险

技术成熟度创建时间待补全，最近推送 ，发布过 4 个 Release
社区活跃Star 445 / Fork 0 / Issue 0（数据支持，可自行核实）
许可证未检测到（需人工确认）
主要风险上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价

安装与使用

此项目未提供 Docker 镜像，安装步骤以原仓库 README 为准（涉及依赖安装与环境配置，对新手门槛较高）。