沙牛提示

阅读本文须要6分钟,建一套自己的AI助手!
如果你喜好本文,就分享给你的小伙伴!

01 AI

随着AI的日益遍及,很多大厂都开放了自己的大措辞模型

本文就来见告你,如何在本地,搭建一套随时可用的AI问答系统。

两步搭建自己的免费AI助手Obsidian可用

02 Ollama

你只须要利用一款免费开源的工具:Ollama。

Ollama是免费开源的,支持多达近2000种大措辞模型,包括阿里通义千问、Meta llama3、Google Gemma等等。

利用它,你只须要按照以下步骤进行即可:

安装Ollama下载大措辞模型进行问答1. 安装Ollama

你可以在Ollama的官网 https://ollama.com/ 下载并安装它,它支持Windows、macOS和Linux等主流操作系统。

安装之后,它会在后台运行,并默认开机启动,方便我们随时利用。

不过,目前Ollama并没有供应图形界面的客户端,以是……你只能通过命令提示符利用它。

在Ollama安装之后,打开命令提示符,输入 ollama,如果收到这样的提示,则证明安装成功:

2. 下载大措辞模型

本地安装的Ollama,你可以理解为一个根本平台,现在,我们须要为这个根本平台,供应大措辞模型的支持。

你可以在Ollama官网的 Models 页面,查询到所支持的大措辞模型:

我们点开一个模型,比如Google Gemma:

个中:

① 代表模型的不同参数版本,B代表Billion,即十亿,9B,代表90亿参数。
② 你可以在这里选择不同参数的版本。
③ 选择版本后,复制命令。

然后,把复制的命令 ollama run gemma2:9b,粘贴到命令提示符中,便会开始下载并运行该模型:

要查看已经下载的模型,可以利用命令 ollama list :

ps:这命令风格真是跟Docker一模一样。

3. 进行问答

安装模型后,我们就可以进行问答了。
不过,由于没有图形界面,以是……你也只能在命令提示符这种上古神器中,来运行前辈的人工智能……

运行一个模型,可以利用命令 ollama run 模型名称 ,如运行阿里千问,命令则为 ollama run qwen2:7b

好了,现在,你可以进行提问了:

03 弄个图形界面

如果你乐意折腾的话,也可以为Ollama搭建一个开源的图形界面, 如LobeChat、Open WebUI等等。

而我选择的,是MaxKB,我把它支配在了自己的群晖NAS上:

有了图形界面之后,你便可以在全体局域网中利用Ollama,乃至,由于有公网IP的关系,我还把这个页面放到了网上,无论在哪,都能利用自己家里运行着的大措辞模型。

04 在Obsidian中利用

你还可以在Obsidian中利用Ollama本地大措辞模型,只须要安装插件 Smart Second Brain 即可。

安装并启用后,配置一下插件:

然后,它会索引你的Obsidian资料库。

但是,对付我包含了1200条条记、180万字的资料库,再加上没有独显的debuff加持,直接给了我一个这样的时长提示:

不过,即便只是把它作为一个Obsidian中的AI问答工具,还能即时保存为条记,也是挺不错的: