Q존 운영자도 RTX5090 x 딥시크 콜라보뉴스 올렸음

컴갤러(61.75) 2025.02.02 08:16:41

조회 167 추천 0 댓글 1

운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데

그건 운영자도 아직 잘 모르는게 있는데

딥시크 모델은 FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며

딥시크로 뭔가 상용 서비스를 시작할경우

rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄

FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거

어찌됐든 딥시크 구동엔

양자화 레벨에 따라 VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)

이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함

이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.

VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐

예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.

일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면 언어모델을 거의 완전체로 굴릴수 있음

그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데

지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며

딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로 전문가들도 뒤늦게 깨닫고 기사를 하나씩 올리는중임

2be8c168f5dc3f8650bbd58b368776658ca469

고정닉 0

원본 첨부파일 1

f5q.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	예능 출연 한방으로 인생 바뀐 스타는?	운영자	25/02/03	-	-
5352878	글카 로드률 90퍼넘으면 컴퓨터 학살 시키는것 같아서 맘이 아프네.. [6]	겟갤러(112.172)	02.08	45	0
5352877	ㄹㅇ 5천번대 tops fp4로 한거임 ? [2]	ㅇㅇ(118.235)	02.08	26	0
5352875	4090유저들이 왜 미리 던졌는지 이유알려준다	컴갤러(121.50)	02.08	95	0
5352873	9070xt 좃된게 전성비 오버 싹다 씹창임 [8]	아오자키_아오코	02.08	160	0
5352872	한국의 평지 산지 지형..... [3]	ㅇㅇ	02.08	64	0
5352871	질문해서 지가 듣고싶은말 나올때까지 지랄하는놈은 왜 질문하는거임??? [2]	ㅇㅇ	02.08	43	0
5352870	5080 싸게 사는법 알려줌 [1]	컴갤러(222.109)	02.08	57	0
5352866	4090 팔고 5080 왔는데 ㄹㅇ 개만족함 [11]	ㅇㅇ(106.101)	02.08	187	0
5352865	메인으로 쓸 ssd 추천좀 [2]	컴갤러(112.167)	02.08	46	0
5352863	지슈라2 코팅 이렇게 하면 괜찮음..? [3]	컴갤러(121.152)	02.08	31	0
5352862	윈도우 노트북을 살까...... [2]	ㅇㅇ(110.70)	02.08	25	0
5352861	983d 존나 잘샀네 [1]	컴갤러(211.105)	02.08	80	0
5352859	아 소고기 냄새 시발 [1]	ㅇㅇ(14.35)	02.08	56	0
5352858	형들 이정도면 이륙해도 ㄱㅊ? [10]	컴갤러(114.29)	02.08	106	0
5352856	근데 노트북이 데탑에 비해서 가성비가 존나 구린편이잖아 [3]	컴갤러(118.235)	02.08	44	0
5352855	지옥의 황회장님덕분에 게임중독을 고친듯	ㅇㅇ	02.08	21	0
5352853	퀘좆 이새키들은 맞추는게 뭐임대체	ㅇㅇ(1.247)	02.08	44	0
5352852	4070+1660ti+lsfg면 ㅅㅂ qhd 240정복이네 ㅋ	ㅇㅇ	02.08	43	0
5352851	Ss @ 알리 2월 할인 정보 모음3b	컴갤러(118.235)	02.08	15	0
5352850	반본체 내장글카로 윈도우 설치해서 쓰다가 [6]	ㅇㅇ(121.137)	02.08	44	0
5352849	필립스 휴 조명 쓰려면 hdmi박스사야됨?	tEEmo	02.08	16	0
5352848	오딘 1클라 겜중 gpu로드율 이게 정상인가요? [3]	고느님(112.185)	02.08	27	0
5352847	pR @ 알리 2월 할인 정보 모음OA	컴갤러(118.235)	02.08	16	0
5352846	5600x 웹서핑만해도 풀발하는데 어캄 [1]	컴갤러(218.154)	02.08	32	0
5352844	윈도우 키 잠금 해제하는 법 좀 가르쳐주라 ㅜ [6]	컴갤러(1.228)	02.08	37	0
5352843	573D에 3080 쓰고있는디 [22]	ㅇㅇ(211.119)	02.08	98	0
5352842	바이오스 업데이트 쉬움? [6]	ㅇㅇ	02.08	46	0
5352841	파티션 합칠려다가 디스크 공간 부족으로 작업 완료 안된다는데	컴갤러(221.154)	02.08	28	1
5352839	글카 가운데 팬만 소음이 심한데 [6]	컴갤러(116.43)	02.08	32	0
5352838	아무도 중고가 안알려주길래 챗지피티한테 물어봤음 [6]	쌉꼴	02.08	71	0
5352837	3300x에 1660 지금 사기엔 너무 병신이냐? [1]	ㅇㅇ(61.77)	02.08	27	0
5352836	노트북 중에서 35만원 이하로 새 노트북은 없을까요?ㅜ	컴갤러(175.193)	02.08	20	0
5352835	술 마셔서 안취하면 [2]	ㅇㅇ(218.234)	02.08	26	0
5352834	오늘 본체 조립다하고 윈도우 깔고있는데 질문있습니다 [1]	컴갤러(211.246)	02.08	40	0
5352832	진짜 양심뒤졌노 [3]	X-T5	02.08	106	0
5352830	시발 5090 사고싶었는데	컴갤러(39.7)	02.08	46	0
5352828	뭐 5080원터블럭수냉똥꼬쇼가 4090순정보다 구리네ㅋ	ㅇㅇ	02.08	32	0
5352827	본인이 생각하는 5090 적정가 ㅇㅇ [4]	만호갱	02.08	114	0
5352825	5080 미친 메인보드죽이고벽돌만들었네 벌써3대째 [1]	ㅇㅇ	02.08	93	0
5352824	사귀고 싶은 여자 골라주세요, [2]	또또이	02.08	57	0
5352821	컴린이 ssd 사는데 벌크랑 병행수입이 머임?? [2]	결제끝	02.08	28	0
5352820	3080->5080 체감 지림? [4]	ㅇㅇ(211.234)	02.08	90	0
5352817	이거나 살란다 [4]	ㅇㅇ(118.235)	02.08	94	0
5352816	4개월후에 5090 정가에 살수있는거냐? [1]	ㅇㅇ(211.52)	02.08	69	0
5352815	4070+1660ti+lsfg면 qhd 240가능하네 존나 개쩌네ㅋㅋ [9]	ㅇㅇ	02.08	58	0
5352814	ssd 방열판	컴갤러(122.43)	02.08	14	0
5352813	4090 판 이유 말해준다... [3]	컴갤러(121.50)	02.08	102	0
5352811	DX12 스터터링은 그냥 받아들이고 사셈	ㅇㅇ(218.234)	02.08	48	0
5352810	싼파워 쓴다고 폭발한다고 언플하는거 자체가 좀 과장되어있음	컴갤러(222.122)	02.08	20	0
5352809	오늘 안씻고 출근했는데 여알바가 [2]	만호갱	02.08	78	0
뉴스	22기 경수♥옥순, ‘스윗 초과’ 연애 근황... “히어로 같은 사람” (나솔사계)	디시트렌드	02.08