来源：云云众生s欧洲杯体育

以下是咱们挑选的开源AI时间栈最好组件。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

一套开源模子和器具，使任何开发者王人能构建起原进的AI应用要领。

若是咱们大致回到畴前，告诉软件工程师他们的应用要领将由玄妙的AI驱动，咱们对其里面运作一无所知，而况他们为了体验的便利性而将最明锐的数据交给影子第三方，他们可能会难以置信地摇头。但这即是咱们当今所处的境地。

如今，全球的开发者正在围绕AI从头构念念他们的应用要领，默许情况下，这意味着将专有的大型谈话模子（LLM）集成到各个方面。关联词，诚然来自OpenAI和Anthropic等公司的专有LLM激发了AI翻新，但它们也存在显明的舛错：惊东谈主的老本、数据阴私问题、供应商锁定以及短缺可定制性。最初，为了翻新性的功能而铁心肠能和限度权似乎是一笔值得作念的来去，但如今很多开发者念念要一种不同的形状。

伸开剩余90%

关联词，翻新总能使也曾特有的东西民主化。诚然最初的AI高潮集结在专有模子上，但着实的翻新是开源LLM行为专有模子（如OpenAI的模子）的可行替代决议的速随心起。开源AI器具的创新也悄然爆发，使开发东谈主员大致应用开源LLM增强的推理才能，并将它们升沉为有用的应用要领——从模子部署和托管器具到数据存储和检索，再到前端和后端Web框架，敩学相长。

为了匡助您了解这个新的边界，并基于与数百名开发东谈主员和其他AI器具构建者的对话，咱们正在分享咱们选拔的**“浅近模式”开源AI时间栈**——最得当开发东谈主员构建AI应用要领的模子和器具。以下是该时间栈的组件奈何协同职责以增强开发东谈主员才能并重塑AI改日的：

“浅近模式”开源AI时间栈。精选的顶级模子和器具，使开发东谈主员大致冒失构建AI应用要领，从而最大结果地限度数据阴私、老本和性能。

这套开源AI器具将部署、阴私和性能的所有限度权交还给开发东谈主员，而不会铁心其应用要领的智能性。开发东谈主员当今不错使用这些器具以任何他们念念要的形状构建和部署AI搞定决议——土产货、云表或边际。他们保留对其数据的100%限度权，而况不必挂牵“值得相信的”第三方可能会奈那里理潜在的明锐信息。这不单是是时间上的支持；它亦然文化上的支持，标志着开发者自主性和创新的中枢价值不雅的总结。

这即是开源AI时间栈的情愿——一套使任何开发者王人能构建起原进AI应用要领的模子和器具。它不单是是一套时间；它更是一场旨在使创新惠及每位开发者的通达。

1. LLMs：开源模子

精选的顶级开源免费LLM，可与OpenAI、Anthropic和Google的专有模子相比好意思。其中包括Meta的Llama 3.3、Mistral模子系列、Qwen模子系列、微软的Phi 3以及DeepMind的Gemma 2。

开源大型谈话模子正处于AI民主化的最前沿。诸如Meta的Llama 3系列、Mistral 7B和Pixtral 12B、阿里云的Qwen 2.5、微软的Phi 3和DeepMind的Gemma 2等模子王人不错免费下载和使用，任何领有充足硬件的开发者王人不错运行。

这些开源模子可与专有搞定决议相比好意思，并提供以下上风：

更苍劲的数据限度： 使用开源模子不错保证所稀有据好意思妙性，幸免依赖第三方，并为开发者提供更苍劲的安全性和合规性保险。 具有竞争力的推感性能： 开源模子在MMLU、HumanEval和MATH Reasoning等基准测试中日益具有竞争力，标明开源模子和专有模子之间的推理差距正在削弱。 活泼的部署和可定制性： 您不错通过自行微调或探听公开可用的模子微长入变体来妥贴利基用例，而无需受供应商拘谨。 袖珍模子的成果和可扩张性： 较小的开源模子通常需要较少的计较才能，使其具有老本效益，而况易于在资源受限的斥地或环境中部署，同期仍能为特定任务提供苍劲的性能。

2. 镶嵌模子：开源镶嵌模子

一些顶级的开源镶嵌模子包括Nomic、来自BAAI的BGE、Sentence Transformers系列以及来自Jina AI的模子等。向量镶嵌在当代AI应用中极其有用。它们为搜索和RAG（检索增强生成）功能提供撑握，使LLM应用要领大致以更可靠、更妥贴凹凸文的探求谜底进行反应。

就像开源LLM相通，开源镶嵌模子也取得了显赫进展，不错与OpenAI的text-embedding-3模子系列和Cohere的embed-multilingual-v3.0等专有搞定决议相比好意思。泉源的开源镶嵌模子包括：

包含各式尺寸和专科化功能的开源镶嵌模子系列，从轻量级的all-minilm到多谈话模子。

Sentence Transformers / SBERT： 开源的镶嵌模子家眷，包含各式大小和专科化的模子，从轻量级的all-minilm到多谈话模子。 Nomic： Nomic Embed Text V1.5撑握多种镶嵌尺寸（768、512、256、128、64），有意用于检索、相似性、聚类和分类任务。它不错处理多达8,192个标记的序列，并为文本和图像数据提供多模态才能。 BGE (BAAI)： BGE（BAAI通用镶嵌）模子将文本映射到密集向量，用于检索、分类和语义搜索任务。最新的BGE-M3模子撑握100多种谈话，不错处理最多8192个token的文档。它具有多功能性（密集检索、多向量检索、稀零检索）才能。 Jina AI：Jina AI的jina-embeddings-v3是一个领有5.7亿参数的模子，撑握89种谈话，在30种中枢谈话中表现出色。它具有8192个token的输入长度、可建立的最高1024维输出以及针对查询文档检索、聚类、分类和文本匹配的专科功能。

3. 模子探听和部署：Ollama

Ollama已成为开发者探听和使用开源LLM和镶嵌模子的默许器具。

部署AI模子也曾就像试图从你的车库辐照航天飞机相通。这需要令东谈主尖嘴猴腮的专科学问组合：由博士构成的团队、复杂的架构以及会让大多量组织望而却步的资源。Ollama透顶调动了游戏轨则，允许开发者使用单个敕令运行起原进的模子：

ollama run llama3.2

通过单个器具探听数百个LLM和镶嵌模子，详尽化基础设施挑战并简化部署，Ollama将也曾看似难以超越的赶走支持为无缝、直不雅的过程。它使开发东谈主员大致专注于搞定实际宇宙的问题，弥合个东谈主和企业方式创新与实用性之间的差距。

借助开源模子和Ollama的简易性，开发东谈主员不错以前所未有的解放度来部署AI。举例：上述开源LLM和镶嵌模子部分中提到的通盘模子王人可通过Ollama获取！

4. 数据存储和检索：PostgreSQL、pgvector和pgai

开源数据库PostgreSQL过火用于AI用例（如pgvector和pgai）的开源扩张生态系统，是但愿构建AI应用要领的开发者的理念念选拔。

邃密的数据和邃密的检索是AI中RAG翻新的中枢，使开发东谈主员大致创建LLM应用要领，为用户提供高度准确、妥贴凹凸文、无幻觉的谜底。

关联词，最好的AI应用要领不单是是使用向量数据库——它们波及非结构化数据、结构化数据和应用要领数据的组合，以及对具有复杂过滤器的浩大数据集进行向量搜索。此类检索系统可确保您的用户获取最妥贴凹凸文的谜底，但构建它们可能很复杂，在某些情况下，可能需要多个数据库系统和自界说数据管谈：

您需要存储文档和其他源数据以创建要搜索的学问库。 你需要一种设施来预处理数据，从中创建向量镶嵌，并在学问库发生变化时保握这些镶嵌同步。 你还需要大致存储和搜索向量镶嵌，通常是大限度的，而况对元数据和其他用户数据进行复杂的过滤。更毋庸说处理多田户、权限和探听限度以及高可用性等实质问题了。

好音问是，PostgreSQL（宇宙上最受迎接的数据库）正在从可靠的探求型数据库支持为为 AI 应用要领提供撑握的数据层，撑握结构化数据、非结构化数据以及快速、准确的向量搜索。

PostgreSQL 是开源的，而况领有一个开源扩张生态系统，这使其成为为 AI 应用要领提供存储和检索功能的首选数据库：

向量搜索：诸如pgvector和pgvectorscale之类的扩张要领撑握向量存储和相似性搜索，其性能优于有意的向量数据库。 易用性：诸如pgai之类的扩张要领简化了探听 LLM 以对 PostgreSQL 中的数据进行推理的过程，而况诸如pgai Vectorizer之类的功能使镶嵌创建和同步与传统的数据库索引相通直不雅。 集成和生态系统：Pgai 对 Ollama 的撑握使得冒失探听起原进的开源模子以进行镶嵌创建或推理成为可能。

示例：使用几行 SQL 推论语义搜索：

CREATETABLEIF NOT EXISTS blog ( id SERIALPRIMARY KEY, title TEXT, authors TEXT, contents TEXT, metadata JSONB ); INSERT INTO blog (title, authors, contents, metadata) VALUES ('The Future of Artificial Intelligence', 'Dr. Alan Turing', 'As we look towards the future, artificial intelligence continues to evolve...', '{"tags": ["AI", "technology", "future"], "read_time": 12, "published_date": "2024-04-01"}'); --insert more data here --Vectorize data in the contents column using models from Ollama SELECTai.create_vectorizer( 'blog'::regclass, destination =>'blog_contents_embeddings', embedding =>ai.embedding_ollama('nomic-embed-text', 768), chunking => ai.chunking_recursive_character_text_splitter('contents') ); -- Perform semantic search SELECT b.title, b.contents, be.chunk, be.embeddingai.ollama_embed('nomic-embed-text', 'What comes next in AI') as distance FROM blog_contents_embeddings be JOIN blog b ONb.id=be.id ORDER BY distance LIMIT3;

5. 后端：FastAPI

你的应用要领后端将智能模子贯穿到面向用户的应用要领，而 FastAPI 已成为开发东谈主员的首选框架。它提供：

速率和简易性：异步编程确保低蔓延和高浑沌量。 面向开发东谈主员的绸缪：自动 API 文档和类型提醒大致快速迭代。 无缝集成：相称得当及时应用要领，举例聊天机器东谈主、推选引擎和展望分析。

FastAPI 根除了后端瓶颈，使开发东谈主员大致冒失地将 AI 应用要领从原型扩张到分娩环境。念念象一下部署一个由开源模子驱动的推选系统。FastAPI 的异步功能确保用户肯求立即得到处理，而其自动文档使相助保握无缝。这些功能共同将复杂的后端职责过程支持为可治理、高效的系统。

6. 前端：NextJS

AI 应用要领的前端需要处理复杂的气象治理和动态更新，而NextJS已成为用于分娩部署的首选 React 框架。

它提供很多有用的功能：

羼杂渲染:做事器端渲染 (SSR) 和客户端静态渲染为您提供了活泼的每个页面渲染和顺存选项。Next.js 提供苍劲的做事器端功能，这关于 AI 应用要领尤其有意。该框架的 SSR 有助于灵验地治理计较密集型 AI 任务，同期减少客户端斥地的负载。这在处理复杂的 AI 模子交互和数据处理时尤其进攻。 及时流和更新:它与各式及时搞定决议无缝集成，以撑握判辨的动态交互，这关于 AI 聊天和其他透露动态内容的 UI 尤其进攻。 与 Vercel AI SDK 集成:Vercel AI SDK（亦然开源的）专为使用 Next.js 创建 AI 应用要领而构建，并撑握客户端和做事器端的 AI 功能。它与Ollama很好地集成，并提供用于处理 AI 模子推理、流式反应和贯穿提供商的实用要领。

7. 缺失的部分：评估和考证

诚然开源 AI 时间栈仍是纯属，但评估仍然是一个关节挑战。像LangFuse和Arize 的 Phoenix这么的方式提供了但愿，但生态系统仍然短缺一个用于测试和考证 AI 模子的全面框架。这一差距代表了一个创新的契机——一个让社区界说可靠的、实际宇宙的 AI 应用要领的契机。

这为什么进攻： 与传统应用要领不同，LLM 长短详情趣的，这意味着若是您在莫得评估和考证的情况下部署 AI 应用要领，您将无法判断应用要领的性能。苍劲的评估系统关于确保您的应用要领当今和系统发展过程中王人能邃密运行至关进攻。

咱们应该说，鉴于开源社区在创建可不雅察性和监控器具方面的苍劲记载，咱们发现这种才能差距突出道理道理。咱们以为，总的来说，评估生态系统还处于起步阶段，尚未找到正确的设施。咱们怀疑刻下的系统过于千人一面，而况低估了不同方式之间评估需求的各样性。需要的是一种雷同于 DevOps 中GitOps 翻新的视角支持，这即是为什么咱们突出闲适看到开源驱动的创新在这个边界茂密发展。

怒放获取创新：你将构建什么？

开源 AI 时间栈不单是是一组器具——它是一场通达。开发东谈主员当今不错解放地构建、创新和限度他们的 AI 应用要领，而无需挂牵供应商锁定或阴私问题。

使用开源 AI，您不错获取：

解放部署在职何所在——土产货、云表或边际。 所有限度数据——无需第三方分享。 可定制性以隆盛您的需求。 与全球社区合作。

这不单是关乎时间；它关乎创造属于你我方的东西。不管您是部署模子、构建 RAG 应用要领照旧启动新的 AI 做事，开源时间栈王人让您不错按照我方的形状进行操作。

立即驱动：

使用 Ollama部署开源模子。 使用 PostgreSQL构建 RAG 应用要领。 使用 FastAPI创建您的后端。

实验、迭代和孝顺。开源 AI 翻新仍是到来——你将构建什么？

本文由 Matvey Arye 和 Avthar Sewrathan 撰写，并于 2024 年 12 月 16 日在 Timescale 官方博客上初次发布。

本文在云云众生（https://yylives.cc/）首发欧洲杯体育，迎接大家探听。

本文在云云众生（https://yylives.cc/）首发，迎接大家探听。

发布于：北京市