Q존 운영자도 RTX5090 x 딥시크 콜라보뉴스 올렸음

컴갤러(61.75) 2025.02.02 08:16:41

조회 122 추천 0 댓글 1

운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데

그건 운영자도 아직 잘 모르는게 있는데

딥시크 모델은 FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며

딥시크로 뭔가 상용 서비스를 시작할경우

rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄

FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거

어찌됐든 딥시크 구동엔

양자화 레벨에 따라 VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)

이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함

이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.

VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐

예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.

일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면 언어모델을 거의 완전체로 굴릴수 있음

그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데

지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며

딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로 전문가들도 뒤늦게 깨닫고 기사를 하나씩 올리는중임

2be8c168f5dc3f8650bbd58b368776658ca469

고정닉 0

원본 첨부파일 1

f5q.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	예능 속 모습이 오히려 이미지 반감 시킨 것 같은 스타는?	운영자	25/01/27	-	-
공지	컴퓨터 본체 갤러리 이용 안내 [155]	운영자	22.12.13	75241	125
5323640	5080 좆망이구나 ai쪽에서도 안사감성능구려 30할인시작	ㅇㅇ	10:58	0	0
5323639	기분 좋다	ㅇㅇ(211.210)	10:57	8	0
5323638	19 ) 06년생 성인된 여BJ.gif	ㅇㅇ(14.51)	10:57	2	0
5323637	힘들면 정신병원 바로바로가라	ㅇㅇ	10:56	10	0
5323636	19 ) 젖으로 제로투 추는BJ.gi f	ㅇㅇ(14.51)	10:56	3	0
5323635	(속보) 지금 난리 난 N PAY 대란 요약.jpg 48	컴갤러(211.229)	10:56	2	0
5323634	200짜리 글카사면서 제원도 안보면	컴갤러(1.244)	10:56	13	0
5323633	4060ti 45만원에 팜	컴갤러(223.33)	10:56	20	0
5323632	4080s = 5080 이걸 이해못하면 자살ㄱㄱㄱㄱㄱ [3]	ㅇㅇ(106.101)	10:55	30	2
5323631	3070ti -> 4070 옆글임? [4]	ㅇㅇ(223.38)	10:54	35	0
5323629	이제 글카 가격이 코인때 가격 정가가 됨 ㅋㅋ	ㅇㅇ(223.38)	10:53	19	0
5323628	가슴이 남자같아서 따먹히고 차인횟수가 많은여배우 [1]	ㅇㅇ(211.213)	10:53	38	0
5323627	4090 vs 5080 같은 가격이면 뭐 삼??? [9]	컴갤러(118.41)	10:52	62	0
5323625	형님들 조카 컴퓨터 사줄라는데 [1]	컴갤러(106.101)	10:52	20	0
5323623	오늘도 4090 돈값할 예정 [5]	컴갤러(121.155)	10:51	54	0
5323622	400 안넘을꺼라고 희망회로 돌리던 퀘이사 저지능들 박제ㅋㅋ [2]	컴갤러(59.30)	10:51	46	1
5323621	에프터버너 아직도 구팔삼디 온도 안뜸?	컴갤러(49.174)	10:50	5	0
5323620	근데 요즘 겜하는데 cpu도 중요하냐? [3]	ㅇㅇ(118.235)	10:50	34	0
5323619	(속보) 지금 난리 난 N PAY 대란 요약.jpg mm	컴갤러(211.229)	10:50	11	0
5323618	SSD 하나 더 사려고 하는데요 쌤들 [2]	심해어	10:49	20	0
5323617	여기 한놈은 5080 한맺혔냐 ㅋ [6]	ㅇㅇ	10:49	59	0
5323616	알리 직구 cpu랑 램은 대체 언제 오냐 [1]	조냑	10:49	19	0
5323615	중국산 마우스 중에서 건전지 들어가는 마우스 없음? [1]	공부는머리	10:48	11	1
5323613	5080 ai도 안사간덴다 ㅋㅋ 30할인	ㅇㅇ	10:48	52	0
5323612	수강싴청 피시방가서 할려하는데 [1]	컴갤러(1.249)	10:48	16	0
5323611	씨발 케이스 나사 쓰니까 바로 들어가네	아누아	10:48	28	0
5323610	형들 x670e gene 파는게 나을까 [1]	컴갤러(211.205)	10:47	11	0
5323608	존버하다가 5080 특가 120만원대 나오면 사야지 [6]	ㅇㅇ(106.101)	10:47	74	0
5323607	5080 할인 하냐?	ㅇㅇ(61.83)	10:47	27	0
5323606	50 좆박은거같은데 그냥 3060ti 계속쓰고 나머지만 갈아치울까	ㅇㅇ(220.81)	10:46	12	0
5323605	라데온 7800 직구했다	컴갤러(39.7)	10:46	14	0
5323604	4090조택껀데 4년 더 쓰면댐? [2]	ㅇㅇ(118.235)	10:46	37	0
5323603	개컴알못 프리플로우에서 완본체 사려는데 [4]	ㅇㅇ(106.101)	10:46	34	0
5323601	마우스 수명이 원래 짧냐? 2년 지났는데 스크롤이 잘 안됨... [3]	컴갤러(119.75)	10:45	28	0
5323600	(속보) 지금 난리 난 N PAY 대란 요약.jpg 3g	컴갤러(211.229)	10:44	15	0
5323599	시발 좆같네진짜 램 걸쇠 부러졋는데 [6]	컴갤러(221.165)	10:44	75	0
5323598	엔비디아 투자 했다가 [3]	ㅇㅇ	10:43	55	0
5323597	이제는 글카 가격이 100~400넘어가는거? 아무생각도 안듬 [3]	컴갤러(1.231)	10:43	47	0
5323596	라이젠5 7500f 똥겜2개 키면 cpu100퍼 솓구치는데 정상이에요? [7]	컴갤러(221.142)	10:42	60	0
5323595	5080 가격 떴냐?	ㅇㅇ(112.148)	10:42	25	0
5323593	5080 할인들어갔구나ㅋㅋ30할인ㅋ [1]	ㅇㅇ	10:42	101	1
5323591	5060 가격을 더올린다고? 황새끼 ㅅㅂ [1]	ㅇㅇ(115.138)	10:41	25	0
5323590	기가 B850 AORUS ELITE WIFI7 LSFG 가능한가요?	123(121.182)	10:41	10	0
5323589	조졌네 씨발 [4]	아누아	10:40	91	1
5323588	이거 아수스랑 먼 상관임? [3]	ㅇㅇ(211.210)	10:40	38	0
5323587	이거 케이스 쿨링팬 괜찮은거임?? 첨보는거라.. [1]	컴갤러(211.234)	10:40	28	0
5323585	5070ti 출시가 얼마 예상함? [4]	ㅇㅇ(223.38)	10:40	60	0
5323584	딥시크 그럼 그렇지 시발 ㅋㅋㅋㅋ [2]	ㅇㅇ(121.150)	10:39	100	0
5323583	배그 뚝뚝 끊겨서 i3-10100F -> i5-14400F [4]	컴갤러(211.112)	10:39	33	0
뉴스	tvN '콩콩밥밥' 이광수와 도경수, 잔소리와 발끈 사이의 티격태격 케미?	디시트렌드	02.01