갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
몬스터헌터 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 몬스터헌터 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- 네이버 하이버클로바X의 신모델을 테스트 해보았다. Cohere
- 선생님이 집까지 태워주신 manhwa 도우시락
- 꺼져! 꼴페미들아…미아역 추모 공간서 남성이 추모글 찢고 난동 감돌
- 한번 하자, 용돈 줄게…중3 성매매·살해 아빠, 출소 후 10대 딸에.. 감돌
- 문재인 강아지 토리, 뇌물공모 정황 증거 남겼다 ㅇㅇ
- 음주 측정 피하는 '꼼수', 이제 강력 처벌..."무관용 원칙" 깐부
- 싱글벙글 ㄹㅇ 1박 2일이 GOAT였던 이유.... ㅇㅇ
- 강남역 스타킹 먹물 테러남 ㅋㅋㅋㅋㅋㅋ ㅇㅇ
- 심각심각 skt 유심 상황 ㅇㅇ
- 강남3구 어린이, 우울증 3배 폭증... 7세 고시 때문?.jpg ㅇㅇ
- 돼지고기로 보는 가슴확대수술 과정 ㅇㅇ
- 싱글벙글 헤어진 딸을 위로해주는 아버지 이진호
- 밀양 성폭행 사건 자매, 명예훼손 등의 혐의로 입건 ㅇㅇ
- 군침군침 두릅의 충격적인 진실.jpg 수인갤러리
- 내 칫솔 변기 빠뜨리고 깨끗한 물,또 아들 낳았어?…비웃는 여동생 감돌
GPT 환각 방지 프롬프트, 정말 효과가 있을까?
일단 이 글을 적기 위해서 11,046원을 지출하였음.후원 좀 받을 수 없나..?ㅋㅋㅋ환각(Hallucination)이란?챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.간단히 말하면,LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.예를 들어,그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,유저들도 나름대로 대응책을 공유하고 있음.여러 프롬프트 사이트들 보면,여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.SimpleQASimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.주요 모델들 simpleQA 벤치마크베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.https://github.com/openai/simple-evals GitHub - openai/simple-evalsContribute to openai/simple-evals development by creating an account on GitHub.github.comOpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임
실험 세팅벤치마크: OpenAI SimpleQA테스트케이스 갯수: 500개방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)파라미터- Temperature: 0.7- max_tokens: 150- 그 외에는 default채점자 모델: GPT-4.1.mini파라미터- Temperature: 0.1- max_tokens: 10상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.Node.js로 벤치마크 프로그램을 만들어서 진행하였음.프롬프트별 테스트 결과OpenAI 기본 프롬프트(You are a helpful assistent)아주 기본적인 시스템 프롬프트만 포함하고 있음.정확도 39.6%공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.하나빛 환각 방지 프롬프트정확도 38.6%오히려 기본 프롬프트에 비해 정확도가 떨어짐.ㅇㅇ(221.150) 환각 방지 프롬프트정확도 38.3%마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.(DLC)모노로그 환각 방지 프롬프트딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.정확도 0%그만 알아보자.결과 비교프롬프트 종류정확도비고OpenAI 기본 프롬프트39.6%공식 벤치마크(38.2%)보다 약간 높음하나빛 프롬프트38.6%효과 미미ㅇㅇ(221.150) 프롬프트38.3%오히려 떨어짐모노로그 프롬프트(예능용)0%결론적으로,커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임.
작성자 : 구름냥이고정닉
훌쩍훌쩍 히틀러를 열등감 덩어리로 만들어버린 사건
히틀러는 생전 화가로 활동하면서 여러 그림들을 남겼음.지금봐도 일반인 기준으로는 잘그렸지만 안타깝게도 미술학교에 입학할 만큼의 수준은 되지 못함투시도 제대로 못맞추는 병신이라는 소리도 있지만위 사진은 멀쩡한 2점 투시 그림을 1점 투시 그림인양 다른 소실점으로 향하는 바닥을 수평이 안맞는거처럼 보이게 선을 그어놓은 선동짤임.제대로 된 교육을 받지 않고 독학한 만큼세간에서 말하는 것처럼 양심 없이 노재능 그림쟁이 소리를 들을 정도의 수준은 아니였음다만 히틀러가 자신있던 건축물 그림은 잘 뽑아냈지만 당시 미술학교 입시에서 중점적으로 본 인물화는 상당히 미숙했음더군다나 하필 당시 시대는이런 추상화가 유행하는 시기였고 이는 히틀러가 추구하는 스타일과는 맞지 않았음...유대인이였던 미술학교 교장은 미술보다는 건축으로 선회하라는 조언을 했지만당시 건축학교에 입학하기 위해선 실업학교 졸업장이 필요했고유대인 교장은 그런 사실을 아는지 모르는지실업학교를 중퇴한 히틀러에게 저런 촌철살인을 해버림...더군다나 건축학은 수학실력이 중요한데히틀러는 하필 수학 성적은 낙제점에 가까운 학생이였고이는 히틀러에게 차선책이었던 건축마저 포기해 버리는 일로 이어지게 됨...히틀러의 고향친구 어거스트 쿠비체크더군다나 같이 고향에서 빈으로 올라온 고향친구는 음대에 합격해서 잘 다니고 있었는데본인만 삼수를 했는데도 미대에 떨어지고 유대인 교장에게 추천받은 건축학교는 이수할 수 없었기에자존심이 강했던 히틀러는 친구에게도 미술학교 입학 실패를 숨길만큼 멘탈이 털려버렸고히틀러는 이후 1차대전에서 바이에른 왕국군으로 자진입대하게 되는데...
작성자 : ㅇㅇ고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.