一人公司成长社区
‹ 返回AI工具库

Jan

电脑端软件 AI平台 AI大模型

本地运行大模型并进行AI对话的工具,免费开源

访问工具官网

Jan 的核心价值在于将强大的 AI 能力带到你的本地设备上,其功能覆盖了模型运行、管理及扩展等多个方面:

  • 本地优先,100%离线运行:这是 Jan 最核心的特性。所有对话和数据都存储在本地,无需联网,也无需将你的数据上传到云端。它支持在 Windows、macOS 和 Linux 等多平台上运行。

  • 内置模型中心 (Model Hub):你可以直接在 Jan 的界面中,从 Hugging Face 等平台搜索、下载并运行 Llama、Gemma、Qwen 等开源模型

  • 灵活的模型引擎:Jan 底层支持 llama.cppTensorRT-LLM 等多种推理引擎,能够高效地在各种硬件上运行模型。

  • 云端模型集成:除了本地模型,你也可以连接 OpenAI、Anthropic、Mistral 等云端 API,在同一个界面中使用 GPT、Claude 等模型

  • OpenAI 兼容 API:Jan 提供了一个本地 API 服务(localhost:1337),允许其他应用程序调用你本机运行的模型。

  • 高级可扩展性:支持通过插件(Extensions)进行功能扩展,并集成了 模型上下文协议(MCP),可赋予模型更强大的智能体(Agentic)能力。

  • 高度可定制:你可以调整模型的运行参数(如 Temperature、Top K 等),甚至调节模型的对齐、审查和审核级别。

🚀 使用说明

使用 Jan 非常简单,流程如下:

  1. 下载与安装:访问官网 jan.ai 下载对应操作系统的安装包。提供 Windows (.exe)、macOS (.dmg) 和 Linux (.deb/.AppImage) 版本。

  2. 选择或下载模型:启动应用后,在“模型中心”(Model Hub)浏览并下载你想要的模型

  3. 开始对话:选择一个已下载的模型,即可在聊天界面中开始提问

  4. 高级配置:你可以在“设置”中管理模型、调整运行参数、配置云端 API 密钥等。

系统要求:运行效果取决于你的硬件配置。一般来说,运行 3B 参数的模型至少需要 8GB 内存,7B 模型建议 16GB,13B 模型则需要 32GB。

类别
AI平台
细分领域
AI大模型
形态
电脑端软件
工具官网
(0)
收藏 (0)

发表回复

登录后才能评论