清华大学在DeepSeek - 671B全量版运行上的最新突破： 过去需要8张H100显卡，成本几百万，现在只用一张4090显卡，成本六万出头，就能跑起来。效率提升28倍！这是什么概念？普通用户也能用4090显卡跑大模型了！算力门槛一下就被拔平了！想搞AI的中小团队、个人开发者有救了！
牛的是清华又双叒叕突破了！这次他们提出了创新性的CPU+GPU混合架构，把400G缓存放进了内存里！不需要那么多显卡集群，也能跑大模型！这种算法和模型结合的方法，极大地提升了算力使用效率，也极大地降低了AI的算力门槛。
只要思想不滑坡，办法总比困难多。
抬头看路
你什么4090，一张六万多？？？开发票了？[哭着笑][哭着笑][哭着笑]
根哥 回复 02-21 09:02
光显卡？其它设备不要钱？
抬头看路 回复 根哥 02-21 09:07
呦呵，你挺懂啊？他一个要算力的机器，其他什么设备贵得过显卡？
bydagl
慢
简约时尚风格 回复 民民 02-21 10:43
你不看成本吗？综合收益呢？
民民 回复 02-21 07:30
相当于上世纪国产su27跟美国f22对打的效率，差距还是大。
化身孤岛的鲸_幺
我记得测过，大概得3张吧？哪里的消息，有出处么？因为太吃显存了，一张估计出不来字，3张出字都不快。
psymerlin 回复 02-21 09:55
这个好像需要新的CPU统一内存和显存架构，类似苹果的一种架构，把内存和显存整合了。
大飞 回复 02-21 09:13
加点内存就是了以前80GB显存，加到128GB内存
tb8435555_2011
这些1450都是叫讲科技，聊生活。这波大力打压算力设备，不就是担心国内算力设备发展起来吗？软件再厉害，算力设备的建设能离开得了？
C4
蒸馏GPT的工业垃圾
DanielZhou 回复 微淼商学院院长 02-21 11:43
以后可以刻在它们的墓碑上
微淼商学院院长 回复 02-21 10:43
美国人有一部分确实这么说[开怀大笑]
彳亍而行
穷则战术穿插，富则火力覆盖
遍净天
权宜之计，不能沾沾自喜
惠源商贸
这么搞你们是想彻底把美国佬的根儿给刨了哇，个老流氓不跟你们拼命才怪
樱花舞兮云飞扬
一张4090效率是8张H100的28倍[捂脸哭]
vivienne 回复 02-26 04:03
文中说的是效率提高28倍。请注意提升你自己的中文阅读理解能力。
般若波罗蜜 回复 vivienne 02-26 05:56
cpu部分的新算法比之前的llama.cpp的纯CPU算法快28倍。主要是稀疏矩阵乘法的优化。
随机
这是两件事，算法的提高减少对硬件的要求这可以使中小企业也能进军 AI。第二硬件的算力也不可能因为算法提高也不去迭代。这完全不是一件事就像英伟达垄断的情况下难道就不迭代了？
伏羲
真以为这种部署方式能用啊？慢到你想死
灿烂时空 回复 02-21 20:00
吃早餐提问 吃无饭时出结果
bingo
400b的都要400显存，而且慢成申公豹[doge]
寻:::::::
让这货解一下数学难题就行
wdkbaby
前提是人家大模型的运算结果要允许你收集吧，说白了就是一台边缘服务器，没有核心服务器的数据，就一堆废铁！
用户38xxx89
放屁，4090部署个21b都慢的一比，671根本跑不了
逍遙
当下主流的家用电脑就可以跑了，也不用很大的内存，只要设置虚拟内存就行了。
般若波罗蜜 回复 02-26 06:02
大哥不嫌卡啊。内存64位乘以2G主频，一秒16GB的吞吐率。虚拟内存是硬盘实现的，比内存慢百倍啊。你是想一天出一个token？
逍遙 回复 般若波罗蜜 02-27 14:31
慢点就慢点呗，主打一个省钱
jdbrjejdbfd
ai这玩意个人玩玩的话最多搞到70b就差不多了 671b那不是给个人玩的
赛博情报官
每秒多少tokens咋不提？1.58b量化的671b满血我自己也部署过，输出慢的一逼不说还是残血
灿烂时空 回复 02-21 19:59
暂时我看到所有都是龟速 想上吊的龟速 直接免费用GPT3.5就行了
用户16xxx32
64的内存条来8根。
天剑
天天网络繁忙是什么原因
momogo 回复 02-21 21:32
限制使用，同一台电脑，我换个账号又能用，但也是只能用一次
晨杰535cj 回复 02-21 20:22
应该是下载的人数实在太大了，然后他们内部的服务器负载支撑不了。 你可以用第三方的部署了deep seek的软件就没有任何问题
Michael
西方标准也是可以突破的，不能墨守成规！
到处转转
不是一张4090吧，就算8卡跑671确实有点慢[哭笑不得][哭笑不得][哭笑不得]
℃冰
,你们都是怎么用的 每次打开只能问一个问题 再问就是服务器繁忙
九个太阳
不考虑数据通过总线的损耗，就光DDR5到GDDR7之间的差距也得慢100倍不止吧？再一个算力也不是一个次元的。
看不见的风景
然后又跑到大漂亮去了，这是清华的一贯作风
紫气东来
搞死英伟达的节奏啊
胖滚滚与圆嘟嘟
能不能做个共享算力平台，根据在线时间，网络，cpu显卡算力来给点费用，这样全国闲置电脑能不能干掉银河服务器！也省了各个企业组建服务器阵列的费用！能实现吗？
梦一回╭♀丶 回复 02-22 08:14
挖矿[哭笑不得]
伊狼啸月
q4量化的，精度降低
jlspng
中国人聪明
灿烂时空
我看到那么多所有吹嘘deepseek 低成本本地部署——都是运算速度超慢的
青龙王
哇偶，只要六万嗳，不过兄弟们肾都给女神经换了苹果手机了，再拿什么换呢？[滑稽笑]
用户10xxx19
AMD最近把高内存调动成高显存，这就不需要占用昂贵而且量少的显卡显存。
ILNBA
看来还是读书多一点的好[红脸笑]
爱吃花的大猫
清华。。呵呵，只会跟在人后，拾人牙慧
用户33xxx72
我一个电脑盲都知道，算法肯定在cpu和内存就可以实现，用gpu搞计算不是长久之计。
梅志胜 回复 02-21 12:11
CPU只能一个一个算，GPU是一群一群的算[裂开] 一个人打一万个人的对比[并不简单][并不简单][并不简单]
Dino 回复 02-21 11:21
你还真是电脑盲[滑稽笑]
1234567
清华捡浙大的饭吃
瘸腿泰迪
速度呢
爱吃糖的文哲桑
但100跑能更好的话，都还是全想用！
鎏金哇开呀酷烈！
丢内存里就行，连系统一起
A听众
清华北大几十亿的研究经费干什么去了？？就会修改别人的东西。
用户11xxx73
标题党。你一觉睡醒电脑还卡着不动呢