沙牛提示
阅读本文须要6分钟,建一套自己的AI助手!
如果你喜好本文,就分享给你的小伙伴!
随着AI的日益遍及,很多大厂都开放了自己的大措辞模型。
本文就来见告你,如何在本地,搭建一套随时可用的AI问答系统。
你只须要利用一款免费开源的工具:Ollama。
Ollama是免费开源的,支持多达近2000种大措辞模型,包括阿里通义千问、Meta llama3、Google Gemma等等。
利用它,你只须要按照以下步骤进行即可:
安装Ollama下载大措辞模型进行问答1. 安装Ollama你可以在Ollama的官网 https://ollama.com/ 下载并安装它,它支持Windows、macOS和Linux等主流操作系统。
安装之后,它会在后台运行,并默认开机启动,方便我们随时利用。
不过,目前Ollama并没有供应图形界面的客户端,以是……你只能通过命令提示符利用它。
在Ollama安装之后,打开命令提示符,输入 ollama,如果收到这样的提示,则证明安装成功:
2. 下载大措辞模型
本地安装的Ollama,你可以理解为一个根本平台,现在,我们须要为这个根本平台,供应大措辞模型的支持。
你可以在Ollama官网的 Models 页面,查询到所支持的大措辞模型:
我们点开一个模型,比如Google Gemma:
个中:
① 代表模型的不同参数版本,B代表Billion,即十亿,9B,代表90亿参数。② 你可以在这里选择不同参数的版本。③ 选择版本后,复制命令。然后,把复制的命令 ollama run gemma2:9b,粘贴到命令提示符中,便会开始下载并运行该模型:
要查看已经下载的模型,可以利用命令 ollama list :
ps:这命令风格真是跟Docker一模一样。
3. 进行问答安装模型后,我们就可以进行问答了。不过,由于没有图形界面,以是……你也只能在命令提示符这种上古神器中,来运行前辈的人工智能……
运行一个模型,可以利用命令 ollama run 模型名称 ,如运行阿里千问,命令则为 ollama run qwen2:7b
好了,现在,你可以进行提问了:
03 弄个图形界面
如果你乐意折腾的话,也可以为Ollama搭建一个开源的图形界面, 如LobeChat、Open WebUI等等。
而我选择的,是MaxKB,我把它支配在了自己的群晖NAS上:
有了图形界面之后,你便可以在全体局域网中利用Ollama,乃至,由于有公网IP的关系,我还把这个页面放到了网上,无论在哪,都能利用自己家里运行着的大措辞模型。
04 在Obsidian中利用你还可以在Obsidian中利用Ollama本地大措辞模型,只须要安装插件 Smart Second Brain 即可。
安装并启用后,配置一下插件:
然后,它会索引你的Obsidian资料库。
但是,对付我包含了1200条条记、180万字的资料库,再加上没有独显的debuff加持,直接给了我一个这样的时长提示:
不过,即便只是把它作为一个Obsidian中的AI问答工具,还能即时保存为条记,也是挺不错的: