first commit
This commit is contained in:
CrazyJasonwell
Executable
+260
@@ -0,0 +1,260 @@
|
||||
---
|
||||
created: 2025-08-31T11:17
|
||||
updated: 2025-09-22T13:27
|
||||
---
|
||||
这是苍何的第 303 篇原创！
|
||||
|
||||
大家好，我是苍何。
|
||||
|
||||
今天在 AI 群看到有小伙伴问关于 DeepSeek 本地部署的事情：
|
||||
|
||||
|
||||
|
||||
讲真，我还真收藏了很多的教程和攻略，甚至我还去万能的宝随手一搜：
|
||||
|
||||
|
||||
|
||||
好家伙，不搜不知道，一搜吓一跳，这玩意居然这么赚钱？24 小时内 200+人已买，**按照 15.5 单价的话，1 天至少爆赚 3100 元啊**。
|
||||
|
||||
1 天 3100 元，一个月就是 93000 元，这得是多少个月的工资啊，这一波还真得感谢下 DeepSeek。（此时的我留下了不争气的泪水😭）
|
||||
|
||||
这还只是个简单的教程，而且说实话，本地部署对于很多小伙伴估计就是几分钟的事情。
|
||||
|
||||
不过有需求的地方就有市场嘛，作为一名合格的科技博主，必须也得整点科技与狠活。
|
||||
|
||||
**今天就来安排下本地部署 DeepSeek 教程**，这是我集大家之所长，亲自试验总结的教程，小白也能看懂。（不信你发给你妈咪试试🐶）
|
||||
|
||||
不信你看，就简单 3 步：
|
||||
|
||||
|
||||
|
||||
当然了，在教程前，先来个灵魂拷问：**为啥要本地部署？**
|
||||
|
||||
我觉得吧，你要想本地能和官网一样的效果，那是不现实的，说实话也没这个必要，但本地部署最终要的是能解决数据隐私的问题。
|
||||
|
||||
他是你自己的智能助手，况且折腾本身也是对 AI 更理解的一种实践，毕竟马克思曾说过：
|
||||
|
||||
**实践是检验真理的唯一标准。**
|
||||
|
||||
## 第一步 ：安装 Ollama
|
||||
|
||||
Ollama 是个啥？你可以叫它「欧拉马」，可以理解成是个自己电脑上运行大语言模型的容器，开源，免费，不用联网。
|
||||
|
||||
这玩意怎么下？要么直接搜索 Ollama：
|
||||
|
||||
|
||||
|
||||
要么，就直接点击这个链接：https://ollama.com ，就可进入官网：
|
||||
|
||||
|
||||
|
||||
（ps：这个呆萌的羊驼还挺有意思😂）
|
||||
|
||||
点击 Download 进行下载，选择自己电脑对应的版本即可：
|
||||
|
||||
|
||||
|
||||
> 特别注意：这里下载需要特殊的网络环境。如果省的麻烦，也可以直接发消息给此公众号获取，我都下载好了，暗号：**Ollama**
|
||||
|
||||
下载好后，直接点击对应的 app 运行：
|
||||
|
||||
|
||||
|
||||
点击 install 下载命令行（下载后就可以在命令号使用 Ollama 命令啦）：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
如果你是 macos，就可以在菜单栏看到 Ollama 的小图标啦，这表明基础环境已经 ok。
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
## 第二步：下载 DeepSeek-R 1 模型
|
||||
|
||||
还是打开刚才的 Ollama 官网，进入「Models」页面。
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
搜索或直接找到「deepseek-r1」模型。
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
直接根据自己电脑配置选择对应参数的模型下载：
|
||||
|
||||
那你肯定会问，我电脑该选择哪个尺寸的下载呢？1.5b、7b、8b、14b 这些是啥？
|
||||
|
||||
1.5b 这些其实是大语言模型的参数规模，单位是 **billion，B**，即**十亿**。
|
||||
|
||||
比如 1.5b 就代表是 15亿参数。
|
||||
|
||||
一般来说，**参数越多，模型的能力越强，但计算资源需求也越大**。如果你看到这些数字，基本可以理解成这是某个AI模型的体型大小。
|
||||
|
||||
需要先确定自己的内存大小及存储，一般来说，模型参数越大，所需的计算资源和内存也越多。
|
||||
|
||||
> 如果您的设备内存为 8 GB，建议选择 1.5 B 或 7 B 模型，以确保模型能够流畅运行。如果您的设备内存为 16 GB 或更高，可以考虑选择 8 B 或 14 B 模型。至于 32 B 模型，可能需要更高的硬件配置才能流畅运行。
|
||||
|
||||
那怎么看自己电脑的配置呢？你可以直接搜索，但我这里建议你直接问 DeepSeek，更快获得答案🐶
|
||||
|
||||
比如我电脑配置就是这个（mac m1）。
|
||||
|
||||
我的内存大小：
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
我的硬盘存储剩余空间：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
显卡查看：
|
||||
|
||||
> 由于 M 1 采用 **统一架构（SoC）**，GPU（显卡）是集成在芯片中的，所以你不会看到独立显卡的名称，而是看到 **Apple M 1** 及其变体。
|
||||
|
||||
和独立显卡的一个对标情况：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
当然你如果是有独立显卡的就可以直接查看自己的显卡配置。
|
||||
|
||||
好了，经过一番综合对比，最终我觉得我的小电脑运行个 8b 参数的模型勉强够用，于是乎，继续开整。
|
||||
|
||||
直接复制这个命令：
|
||||
|
||||
```
|
||||
ollama run deepseek-r1:8b
|
||||
```
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
然后打开你电脑的终端，直接执行：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
我家的网速一般，慢的时候只有 200 多 kb，可以说，我去看了姑妈打完 2 局麻将还没下载完🐶。
|
||||
|
||||
等啊等啊，终于下载完了：
|
||||
|
||||
出现这样，就表示已经部署完成：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
这说明是用命令行启动了个客户端，你直接就可以在这里发消息和 DeepSeek 大模型对话啦。
|
||||
|
||||
我的第一个问题是："猪能不能爬树？"
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
对于这个问题，回答的还可以，果然是推理型模型，思考的过程也给我们列出来了。（所以，大模型觉得野猪可能可以上树，如果来世我变成了一只猪，我希望自己是一只野猪🐷）
|
||||
|
||||
很多人会和苍何有一样的顾虑，我的天，我自己电脑跑个大模型，这不得把电脑资源吃透？
|
||||
|
||||
我抱着好奇心来看了下内存和 CPU 使用情况：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
也还好啊，在推理任务过程中，也就占了 1.09G 的内存，对于拥有 16G 内存的大户来说，还可以接受😂
|
||||
|
||||
不想要继续在命令行对话了咋办？可以直接输入命令：
|
||||
|
||||
```
|
||||
/bye to exit
|
||||
```
|
||||
|
||||
这样，命令行这个客户端就关闭了。
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
这个时候 ollama 模型其实还是在后台运行的：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
**不过如果退出所有的客户端或者任务闲置的时候，这个时候 ollama 其实已经不会占用过高的内存了，因为没有后台任务，你可以选择无视。**
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
当然如果你生怕 ollama 在后台影响你拔剑的速度，你也可以直接退出：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
## 第三步：搭建 Chatbox 界面
|
||||
|
||||
这命令行对于不会编程的小伙伴来说，太难受了。
|
||||
|
||||
不过没关系，开源的 Chatbox 就可以解决这个问题，你可以理解成他是个好看的 UI 界面搭载的应用程序，让你和大模型对话就像呼吸空气一样自然🉑
|
||||
|
||||
使用方法也很简单，下面简单介绍一下：
|
||||
|
||||
1、下载并安装客户端
|
||||
|
||||
打开官网直接下载：**https://chatboxai.app/zh
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
选择对应的版本，比如我的是苹果芯片的：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
下载安装后，第一次打开是这样的：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
选择使用自己的 API Key 或者本地模型：
|
||||
|
||||
选择 Ollama API
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
（如果不小心点错了，或者之前已经安装过 Chatbox，也可以点击设置重新选择。）
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
选择本地跑的 DeepSeek：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
除了对模型进行设置外，还可以对对话显示效果进行设置：
|
||||
|
||||
可以给助手设置头像和默认提示：
|
||||
|
||||
比如我用上了自己的头像，
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
其他的一些设置：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
点击保存即可。
|
||||
|
||||
这个时候就可以在 UI 界面使用了：
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
**至此，简单三步，本地就运安装运行起来了 DeepSeek R1**。
|
||||
|
||||
但这个时候，在你本地跑的只是个小 baby，他并没有像官方一样智能，只能处理简单的任务。
|
||||
|
||||
不过如果只是单纯的做自己知识库助手，也够了，毕竟本地的数据也就这么多。
|
||||
|
||||
这里也给大家挖一个坑，我先调教调教他，再给大家汇报汇报战果。
|
||||
|
||||
简单 3 步骤的教程，你肯，是不是帮你省了 15.5 了？
|
||||
|
||||
甚至你还可以拿着教程做成视频再去卖？狠狠赚他一波。
|
||||
|
||||
## ending
|
||||
|
||||
我创建了一个读者 AI 交流群，群里都是一群前沿的 AI 极客，经常讨论最新的 AI 消息，用法，以及变现方法。
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
但是任何人在群里打任何广告，都会被我 T 掉。
|
||||
|
||||
如果你对这个特别的群，感兴趣，可以公众号后台私信我加入。
|
||||
|
||||
暗号：**AI**
|
||||
|
||||
|
||||
|
||||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||||
|
||||
最后，把苍何的座右铭送给大家：**我举手向苍穹，并非一定摘到星月，只是想保持这个永不屈服的姿势**。共勉 💪。
|
||||
|
||||
【我爱这个魔幻的世界】
|
||||
Reference in New Issue
Block a user