260 lines
24 KiB
Markdown
Executable File
260 lines
24 KiB
Markdown
Executable File
---
|
||
created: 2025-08-31T11:17
|
||
updated: 2025-09-22T13:27
|
||
---
|
||
这是苍何的第 303 篇原创!
|
||
|
||
大家好,我是苍何。
|
||
|
||
今天在 AI 群看到有小伙伴问关于 DeepSeek 本地部署的事情:
|
||
|
||

|
||
|
||
讲真,我还真收藏了很多的教程和攻略,甚至我还去万能的宝随手一搜:
|
||
|
||

|
||
|
||
好家伙,不搜不知道,一搜吓一跳,这玩意居然这么赚钱?24 小时内 200+人已买,**按照 15.5 单价的话,1 天至少爆赚 3100 元啊**。
|
||
|
||
1 天 3100 元,一个月就是 93000 元,这得是多少个月的工资啊,这一波还真得感谢下 DeepSeek。(此时的我留下了不争气的泪水😭)
|
||
|
||
这还只是个简单的教程,而且说实话,本地部署对于很多小伙伴估计就是几分钟的事情。
|
||
|
||
不过有需求的地方就有市场嘛,作为一名合格的科技博主,必须也得整点科技与狠活。
|
||
|
||
**今天就来安排下本地部署 DeepSeek 教程**,这是我集大家之所长,亲自试验总结的教程,小白也能看懂。(不信你发给你妈咪试试🐶)
|
||
|
||
不信你看,就简单 3 步:
|
||
|
||

|
||
|
||
当然了,在教程前,先来个灵魂拷问:**为啥要本地部署?**
|
||
|
||
我觉得吧,你要想本地能和官网一样的效果,那是不现实的,说实话也没这个必要,但本地部署最终要的是能解决数据隐私的问题。
|
||
|
||
他是你自己的智能助手,况且折腾本身也是对 AI 更理解的一种实践,毕竟马克思曾说过:
|
||
|
||
**实践是检验真理的唯一标准。**
|
||
|
||
## 第一步 :安装 Ollama
|
||
|
||
Ollama 是个啥?你可以叫它「欧拉马」,可以理解成是个自己电脑上运行大语言模型的容器,开源,免费,不用联网。
|
||
|
||
这玩意怎么下?要么直接搜索 Ollama:
|
||
|
||

|
||
|
||
要么,就直接点击这个链接:https://ollama.com ,就可进入官网:
|
||
|
||

|
||
|
||
(ps:这个呆萌的羊驼还挺有意思😂)
|
||
|
||
点击 Download 进行下载,选择自己电脑对应的版本即可:
|
||
|
||

|
||
|
||
> 特别注意:这里下载需要特殊的网络环境。如果省的麻烦,也可以直接发消息给此公众号获取,我都下载好了,暗号:**Ollama**
|
||
|
||
下载好后,直接点击对应的 app 运行:
|
||
|
||

|
||
|
||
点击 install 下载命令行(下载后就可以在命令号使用 Ollama 命令啦):
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
如果你是 macos,就可以在菜单栏看到 Ollama 的小图标啦,这表明基础环境已经 ok。
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
## 第二步:下载 DeepSeek-R 1 模型
|
||
|
||
还是打开刚才的 Ollama 官网,进入「Models」页面。
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
搜索或直接找到「deepseek-r1」模型。
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
直接根据自己电脑配置选择对应参数的模型下载:
|
||
|
||
那你肯定会问,我电脑该选择哪个尺寸的下载呢?1.5b、7b、8b、14b 这些是啥?
|
||
|
||
1.5b 这些其实是大语言模型的参数规模,单位是 **billion,B**,即**十亿**。
|
||
|
||
比如 1.5b 就代表是 15亿参数。
|
||
|
||
一般来说,**参数越多,模型的能力越强,但计算资源需求也越大**。如果你看到这些数字,基本可以理解成这是某个AI模型的体型大小。
|
||
|
||
需要先确定自己的内存大小及存储,一般来说,模型参数越大,所需的计算资源和内存也越多。
|
||
|
||
> 如果您的设备内存为 8 GB,建议选择 1.5 B 或 7 B 模型,以确保模型能够流畅运行。如果您的设备内存为 16 GB 或更高,可以考虑选择 8 B 或 14 B 模型。至于 32 B 模型,可能需要更高的硬件配置才能流畅运行。
|
||
|
||
那怎么看自己电脑的配置呢?你可以直接搜索,但我这里建议你直接问 DeepSeek,更快获得答案🐶
|
||
|
||
比如我电脑配置就是这个(mac m1)。
|
||
|
||
我的内存大小:
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
我的硬盘存储剩余空间:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
显卡查看:
|
||
|
||
> 由于 M 1 采用 **统一架构(SoC)**,GPU(显卡)是集成在芯片中的,所以你不会看到独立显卡的名称,而是看到 **Apple M 1** 及其变体。
|
||
|
||
和独立显卡的一个对标情况:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
当然你如果是有独立显卡的就可以直接查看自己的显卡配置。
|
||
|
||
好了,经过一番综合对比,最终我觉得我的小电脑运行个 8b 参数的模型勉强够用,于是乎,继续开整。
|
||
|
||
直接复制这个命令:
|
||
|
||
```
|
||
ollama run deepseek-r1:8b
|
||
```
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
然后打开你电脑的终端,直接执行:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
我家的网速一般,慢的时候只有 200 多 kb,可以说,我去看了姑妈打完 2 局麻将还没下载完🐶。
|
||
|
||
等啊等啊,终于下载完了:
|
||
|
||
出现这样,就表示已经部署完成:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
这说明是用命令行启动了个客户端,你直接就可以在这里发消息和 DeepSeek 大模型对话啦。
|
||
|
||
我的第一个问题是:"猪能不能爬树?"
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
对于这个问题,回答的还可以,果然是推理型模型,思考的过程也给我们列出来了。(所以,大模型觉得野猪可能可以上树,如果来世我变成了一只猪,我希望自己是一只野猪🐷)
|
||
|
||
很多人会和苍何有一样的顾虑,我的天,我自己电脑跑个大模型,这不得把电脑资源吃透?
|
||
|
||
我抱着好奇心来看了下内存和 CPU 使用情况:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
也还好啊,在推理任务过程中,也就占了 1.09G 的内存,对于拥有 16G 内存的大户来说,还可以接受😂
|
||
|
||
不想要继续在命令行对话了咋办?可以直接输入命令:
|
||
|
||
```
|
||
/bye to exit
|
||
```
|
||
|
||
这样,命令行这个客户端就关闭了。
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
这个时候 ollama 模型其实还是在后台运行的:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
**不过如果退出所有的客户端或者任务闲置的时候,这个时候 ollama 其实已经不会占用过高的内存了,因为没有后台任务,你可以选择无视。**
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
当然如果你生怕 ollama 在后台影响你拔剑的速度,你也可以直接退出:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
## 第三步:搭建 Chatbox 界面
|
||
|
||
这命令行对于不会编程的小伙伴来说,太难受了。
|
||
|
||
不过没关系,开源的 Chatbox 就可以解决这个问题,你可以理解成他是个好看的 UI 界面搭载的应用程序,让你和大模型对话就像呼吸空气一样自然🉑
|
||
|
||
使用方法也很简单,下面简单介绍一下:
|
||
|
||
1、下载并安装客户端
|
||
|
||
打开官网直接下载:**https://chatboxai.app/zh
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
选择对应的版本,比如我的是苹果芯片的:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
下载安装后,第一次打开是这样的:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
选择使用自己的 API Key 或者本地模型:
|
||
|
||
选择 Ollama API
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
(如果不小心点错了,或者之前已经安装过 Chatbox,也可以点击设置重新选择。)
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
选择本地跑的 DeepSeek:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
除了对模型进行设置外,还可以对对话显示效果进行设置:
|
||
|
||
可以给助手设置头像和默认提示:
|
||
|
||
比如我用上了自己的头像,
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
其他的一些设置:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
点击保存即可。
|
||
|
||
这个时候就可以在 UI 界面使用了:
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
**至此,简单三步,本地就运安装运行起来了 DeepSeek R1**。
|
||
|
||
但这个时候,在你本地跑的只是个小 baby,他并没有像官方一样智能,只能处理简单的任务。
|
||
|
||
不过如果只是单纯的做自己知识库助手,也够了,毕竟本地的数据也就这么多。
|
||
|
||
这里也给大家挖一个坑,我先调教调教他,再给大家汇报汇报战果。
|
||
|
||
简单 3 步骤的教程,你肯,是不是帮你省了 15.5 了?
|
||
|
||
甚至你还可以拿着教程做成视频再去卖?狠狠赚他一波。
|
||
|
||
## ending
|
||
|
||
我创建了一个读者 AI 交流群,群里都是一群前沿的 AI 极客,经常讨论最新的 AI 消息,用法,以及变现方法。
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
但是任何人在群里打任何广告,都会被我 T 掉。
|
||
|
||
如果你对这个特别的群,感兴趣,可以公众号后台私信我加入。
|
||
|
||
暗号:**AI**
|
||
|
||
|
||
|
||
'%20fill='%23FFFFFF'%3E%3Crect%20x='249'%20y='126'%20width='1'%20height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
|
||
|
||
最后,把苍何的座右铭送给大家:**我举手向苍穹,并非一定摘到星月,只是想保持这个永不屈服的姿势**。共勉 💪。
|
||
|
||
【我爱这个魔幻的世界】 |