本文源于公众年夜众号--布博士（擎创科技产品办理方案专家）
[比心]交情提示：本文较长，干货较多，建议先关注点赞收藏，码住再说，以供你随时翻阅~
在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键成分，包括隐私保护、数据安全等。本日将带大家一起看下如何利用OBSIDIAN+OLLAMA+LLAMA3.1-8b搭建一个大略单纯而高效的个人知识库及事情智能助理，从而让日常办公、学习、生活更加高效便捷。
本次分享紧张包括以下内容：
1. 个人智能助理运用处景都有哪些
2. 如何构建可信赖的AI系统
3. 人工智能底座：搭建基于OLLAMA的大模型llama3.1 - 8b
4. 搭建个人知识及事情智能助理：利用OBSIDIAN+OLLAMA
一、个人智能助理运用处景说到智能助理，很多人下意识的认为是智能家居、康健监测、购物、教诲等，覆盖范围非常大。为了更聚焦和落地一些，在这里我们把范围约束的更小一点，就以博主自己事情场景为例。作为一名产品办理方案专家，日常事情紧张聚拢在以下几个方面：
1. 不断理解行业新知识、新趋势：包括大模型、智能运维、行业的干系运用等。
2. 为客户供应售前办理方案材料。
3. 为项目履行供应售后办理方案材料，包括需求文档 、技能方案等。
4. 同客户交互的过程中须要实记录会议记要、项目进展历史。
5. 进行产品设计。
6. ...
基于以上事情场景，于是衍生了以下需求：
1. 须要高效的知识及内容管理系统来网络知识并能够将这些知识进行有效组织和存储
2. 须要安全的人工智能剖析引擎，并在进行知识管理与运用的过程中供应智能化场景支持，这个功能除了我这个行业的，该当很多行业都会用的上。如：
（1）中英文翻译：选中文档内容，ctrl+M弹出智能助手菜单，选择“翻译 - 中文“即可
下图为天生的中文翻译结果：
（2）为文章天生标题：比如将总结的知识进行分享，如何取一个比较随意马虎推广的标题就可以交给我们的AI智能助手了。
为了得到一个紧扣文章主题的标题，我们可以在天生正式标题前师长西席成一个笼统的标题内容，选中该内容，然后在弹出的智能助手菜单中选择”天生标题“，即可按预设的prompt天生10个易于推广的标题，从里边选出一个最满意的就行了。
（3）天生内容大纲：针对“基于OBSIDIAN+Ollama搭建个人智能助理“这个主题，智能助手天生了以下大纲内容，我们可以按照以下大纲去探求资料，充足内容。从这里可以看出智能助理可以为写作或者事情梳理方向。
以下是根据给定的文档内容天生章节标题的建议：章节1: "搭建个人智能助理：OBSIDIAN 和 Ollama 的上风" 内容：先容 OBSIDIAN 和 Ollama 背景、特点和上风，吸引读者关注这些技能的潜力。章节2: "OBSIDIAN 和 Ollama 的技能事理" 内容：详细阐明 OBSIDIAN 和 Ollama 的核心技能，如 AI 模型、自然措辞处理和人工智能等观点。 逻辑顺序：这部分将供应必要的技能根本，使读者能够理解后续章节。章节3: "搭建个人智能助理：履行步骤和寻衅" 内容：先容如何履行 OBSIDIAN 和 Ollama，包括设置、演习和优化个人智能助理等细节。同时，也将谈论可能碰着的寻衅。 逻辑顺序：在理解了技能事理后，这部分将辅导读者完成实际操作。章节4: "案例研究：OBSIDIAN 和 Ollama 在实际运用中的表现" 内容：通过详细的案例来展示 OBSIDIAN 和 Ollama 在现实天下中有哪些影响。例如，改进决策流程、自动化任务等。 逻辑顺序：此部分将以感性的办法展示这些技能在现实中的利用。章节5: "未来的展望和结论" 内容：总结 OBSIDIAN 和 Ollama 的发展潜力以及个人智能助理的前景。 逻辑顺序：末了这一部分将概括全体内容，并为读者供应一个全局视角。以上这些章节标题应知足您的哀求。请见告我，您是否还有其他问题或须要进一步帮助！
（4）天生行为项：针对一篇会议记要，天生会议记录中的行动项内容
（5）内容总结：对文档的内容进行总结 ，比如“布博士”"大众年夜众号发文章时，末了的总结内容，我一样平常会让CHATGPT来帮我天生。
（6）内容优化： 对内容进行表达上的优化，如按专家口吻、按小学生的理解能力等。
（7）写作：针对一个题目来进行内容写作。
（8）改动拼写和语法：紧张用于创造文章内容中的语法和拼写缺点。
（……）
通过以上场景，我们不丢脸出AI智能助手利用场景广泛，上风明显。可以让事情学习事半功倍，也可以举一反三完成任务。
二、如何构建可信赖的个人AI系统
1.为什么要构建个人AI系统
随着 AI 的发展，个人数据将成为极具代价的资产，而那些网络并利用这些数据的公司，将有能力掌控我们的生活。比如近半年来，大型科技公司如某软和某歌频繁宣扬 AI PC 观点，他们声称，AI 更懂你，会记录打算机上你的每一步操作，并预测下一步的动作。但，这种便捷的背后有可能存在隐私透露等数据安全风险。
上面这些公司所宣扬的AI更懂你，逻辑便是他们通过 AI 代理（智能体）来网络个人隐私数据，并将其供应给强大的 “AI 大脑”。这个“大脑”利用所网络的数据进行决策，然后又将信息通报回智能体，让它能快速为各种需求做出反应。这种数据处理流程不仅具有陵犯隐私的风险，如果数据处理不当不仅会对个人造成危害乃至可能还会涉及企业数据安全风险。
以是，不要被 AI PC 的表象所吸引，从而忽略隐私数据会被透露的潜在危险。（再次强调！
保护好自己的个人信息，以免落入那些不法之人的手中。）
以是，问题来了，公用的AI PC不屈安，那么如何构建一个安全的私人AI助理呢？
三、如何搭建安全好用的个人智能助理
为了实现运用处景和保障隐私安全，我建议构建如上图所示的个人智能助理系统：
OBSIDIAN：实现个人的全面知识管理，包括知识网络、存储。LLM引擎 - Ollama：实现本地的大模型引擎，实现智能场景。Ollama的详细安装这里我不赘述了，仍有疑问的朋友可以参考“布博士”公众年夜众号文章《ollama实现开源大模型本地化安装支配》。Windows系统和Mac系统的安装方法都差不多，也比较大略。以下是我在安装过程中的部分示意，仅供参考。
在本地运行时，推举利用LLama 3.1-8B模型（也称为LLama 3.1: LATEST），该模型在所有测试场景中表现都相称出色。
（1）完成OLLAMA本地化支配配置
OLLAMA本地化支配，对打算机的硬件配置有一定哀求。博主自己主机配置如下：
CPU：I7 14700KF（知足运行4090显卡的最低哀求）。GPU：技嘉 4090 满血版，24GB显存。如果运行8B以下的模型，可以选择16GB显存。预算有限的情形下，AMD显卡也是不错的选择，性价比更高。内存：64GB（如需处理大规模数据或运行深度学习算法，可扩展至128GB）。固态硬盘：速率为7000M/秒。不同模型的相应情形
LLama 3.1-8B和Phi 3:14B：运行速率非常快，能在秒级相应和处理指令。Gemma 2:27B：速率稍慢，但不影响阅读体验。LLama 3.1:70B：显著影相应用体验，每次指令会使4090显卡满负载，CPU占用约70%，内存占用约60%，在当前配置下运行该模型时，其它指令险些很难运行，如截屏。各大模型对打算机资源的哀求（不考虑多并发情形）
LLama 3.1: Latest（8B）：建议至少10GB显存和20GB内存。LLama 3.1: 70B：建议至少40GB显存和80GB内存。Phi 3:14B：建议至少16GB显存和32GB内存。Gemma 2:27B：建议至少24GB显存和48GB内存。（2）如何利用OBSIDIAN+OLLAMA，搭建个人知识库及事情智能助理
①安装 obsidian：可以从官方网站http://www.obsidian.md官方网站进行下载：
像普通软件一样，安装运行即可，如下图所示。由于我事先在本地构建了一个本地知识仓库放到D:\15-obsidian，现在直接打开即可；如果没有构建的话，可以点击创建以创建一个新确当地仓库：
②运行OBSIDIAN：安装完成之后，可以看到如下图所示的运用界面，最左侧是不同的知识目录，中间是编辑区域，右侧是构建知识内容的章节列表
③ 安装local gpt插件：要实现个人智能助理，须要将OBSIDIAN同OLLAMA做集成，在这里我用到了LOCAL GPT插件，须要在设置中找到插件管理。
点击浏览按钮，可以查找local gpt，如下图所示，双击安装即可：
④配置local gpt
首先，配置AI provider，在这里选择ollama
ollama URL：由于是个人PC，未利用远程的做事，因此利用的http://localhost:11434default model：会自动从ollama server上获取可用的大模型列表，在这里我们选择llama3.1。以上步骤完成后，即可实现Obsidian与Ollama的集成。
但要构建智能助理，还须要设置一系列智能操作（即Local GPT中的Actions）。这些操作只需创建相应的系统提示词（System Prompt）和用户提示词（User Prompt），即可实现所需功能（基于人工智能的程序设计，基本不须要写一条代码，即可完成这些智能化的操作）。
在这里我构建了10个ACTIONS，都是通过自然措辞的描述即可完成的，下图为10个ACTIONS列表。
⑤对ACTION进行编辑和新建，我们以翻译功能为例来看一下构建过程：
ACTION如何构建
模型选择（Model Optional）：根据不同的操作（ACTION），可以选择得当的模型。例如，对付文本内容天生，可以选择LLama 3.1，而对付代码天生，可以选择LLama 3.1的编程微调版本。
操作名称（Action Name）：在智能助理菜单中，操作项的显示名称。在这里我们设置为“翻译 - 中文”，表示将英文翻译为中文。用户也可以选择其他措辞，如英文、德文等。system prompt optional：在未经由微调的大模型中，提示词至关主要。一个好的提示词可以更有效地引发大模型的能力。以下是一个用于将英文翻译成中文的提示词示例，供参考：任务描述:翻译英文文本为中文。翻译须要准确传达原文信息，保持原文的语气和风格，确保中文文本自然流畅，并适应中文语境。翻译哀求:准确性: 确保翻译内容与原文完备同等。流畅性: 中文翻译应符合中文语法和措辞习气。语气和风格: 保持原文的语气和风格，包括正式、非正式、诙谐等。文化适应性: 针对文化特定的内容，供应得当的中文阐明或等价物。完全性: 不遗漏原文中的任何主要信息。把稳事变:避免逐字翻译，确保句子构造符合中文表达办法。确保技能术语或专有名词的翻译准确，如有必要保留原文。翻译后检讨语法和拼写缺点。prompt：用户提示词，详细的用户指令
请将英文段落翻译为流畅且自然的中文。翻译哀求:准确传达原文信息。保持原文的语气和风格。确保中文文本自然流畅。请在翻译后进行检讨，以确保译文的完全性和准确性。
⑥修正Actions
⑦为个人智能助理配置快捷键：我们为"local GPT：show context menu"配置快捷键为ctrl+m，这样当我们在编辑文档的任何过程中，可以快速的打开个人智能助理。
⑧个人智能助理利用：以翻译功能为例，选中如下文本内容按ctrl+m打开智能助手菜单 ，选择”翻译-中文“。
```译文如下：You can leverage the editing capabilities of Obsidian and the large model capabilities of LLaMA to create a customized intelligent assistant. This is an incredibly powerful tool that can help you boost your productivity and creativity.
（3）接下来须要增强以下功能，个人智能助理才算真正构建完成
①图像天生能力：在 Obsidian 中集成 Stable Diffusion 3，可以直接在 Obsidian 中实现与 Stable Diffusion 3 的集成，提升图片天生能力，增强内容创作的视觉效果。
②Obsidian 的知识搜索功能：供应全面的搜索功能，以便更好地运用和管理存储的条记和知识。例如，条记中记录了家庭成员的身份证图片，用户可以通过搜索“身份证”直接找到干系条记内容。
③交互式数据剖析与探索功能：在 Obsidian 中实现与剖析型数据库的集成，通过交互式对话进行数据剖析和探索，并利用本地大模型根据需求描述天生剖析代码。
④任务下达与实行能力：在 Obsidian 中实现通过谈天办法下达任务和实行操作的能力。例如，通过 Google API 查询干系内容，并利用本地大模型对查询结果进行综合剖析，供应终极答案。
⑤代码天生与调试功能：在 Obsidian 中实现交互式的代码天生能力，并在 Docker 沙盒中仿照运行和调试代码，终极输出可精确实行的代码。
⑥操作Agent能力： 可以集身分歧角色的智能代理（Agent），根据用户下达的指令，利用大模型驱动来实行各种智能代理，从而高效、智能地完成各种作业任务。这一能力实现了任务的自动化和智能化。
具备上述能力的系统，方可称为真正意义上的个人智能助理。
四、总结
整套过程操作下来比较大略，当然，本地支配也面临一些寻衅，例如硬件资源需求较高、掩护繁芜性增加以及须要专门技能职员进行支持等。但总体来说，在看重数据安全和隐私保护的场景中，本地运行的大模型依然是一个非常有竞争力的选择。如果有问题欢迎大家评论区留言分享。
擎创科技，Gartner连续推举的AIOps领域标杆供应商。公司专注于通过提升企业客户对运维数据的洞见能力，为运维降本增效，充分表示科技运维对业务运营的影响力。
行业龙头客户的共同选择
理解更多运维干货与行业前沿动态
可以右上角一键关注
我们是深耕智能运维领域近十年的
连续多年获Gartner推举的AIOps标杆供应商
下期我们不见不散~