갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
수능 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 수능 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- [망한머리 구조대 미용실형] 물에 삶은 유희왕 미용실형
- 일쌍툰 1~4화.manhwa 웅쿤
- 플라자 합의와 일본 버블붕괴에 대해 알아보자...1편 ㅇㅇ
- 본인, 해고를 당하다... .MANHWA ..김지민
- 현 일본 Z세대 대표 여배우 3인 ㅇㅇ
- 군침군침 두릅의 충격적인 진실.jpg 수인갤러리
- 음주 측정 피하는 '꼼수', 이제 강력 처벌..."무관용 원칙" 깐부
- 귀찮은 일 혼자 묵묵히 다하는 신인 여돌 멤버 ㅇㅇ
- 도전) 모찌 뽀삐털 만드는글 楽園
- 블라) 내가 그렇게 돈에 미친년이야? 관심종자
- 싱글벙글 듀얼이 안풀릴때 대처법 ㅇㅇ
- 다시보는 마블 ㅂㅅ 국가 ㄹㅇ..... 최철귀
- 싱글벙글 일본 마지막 슈퍼로봇 만화 ㅇㅇ
- 고마워하면 안돼...? 챗gpt '땡큐'하면 생기는 일.jpg ㅇㅇ
- 역대급이었다는 엄마 패고 왕따시키는 이번 금쪽이.jpg ㅇㅇ
GPT 환각 방지 프롬프트, 정말 효과가 있을까?
일단 이 글을 적기 위해서 11,046원을 지출하였음.후원 좀 받을 수 없나..?ㅋㅋㅋ환각(Hallucination)이란?챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.간단히 말하면,LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.예를 들어,그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,유저들도 나름대로 대응책을 공유하고 있음.여러 프롬프트 사이트들 보면,여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.SimpleQASimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.주요 모델들 simpleQA 벤치마크베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.https://github.com/openai/simple-evals GitHub - openai/simple-evalsContribute to openai/simple-evals development by creating an account on GitHub.github.comOpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임
실험 세팅벤치마크: OpenAI SimpleQA테스트케이스 갯수: 500개방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)파라미터- Temperature: 0.7- max_tokens: 150- 그 외에는 default채점자 모델: GPT-4.1.mini파라미터- Temperature: 0.1- max_tokens: 10상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.Node.js로 벤치마크 프로그램을 만들어서 진행하였음.프롬프트별 테스트 결과OpenAI 기본 프롬프트(You are a helpful assistent)아주 기본적인 시스템 프롬프트만 포함하고 있음.정확도 39.6%공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.하나빛 환각 방지 프롬프트정확도 38.6%오히려 기본 프롬프트에 비해 정확도가 떨어짐.ㅇㅇ(221.150) 환각 방지 프롬프트정확도 38.3%마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.(DLC)모노로그 환각 방지 프롬프트딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.정확도 0%그만 알아보자.결과 비교프롬프트 종류정확도비고OpenAI 기본 프롬프트39.6%공식 벤치마크(38.2%)보다 약간 높음하나빛 프롬프트38.6%효과 미미ㅇㅇ(221.150) 프롬프트38.3%오히려 떨어짐모노로그 프롬프트(예능용)0%결론적으로,커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임.
작성자 : 구름냥이고정닉
싱글벙글 mcu 노베이스 캐릭터들
이 글에 나오는 마블 등장인물들은 기계 약물 후천적인 초능렫 없는 노베이스 히어로들이니 참고하셈 호크아이 클린튼 바튼 후천적 초능력자 아니긴 한데 활 ㅈㄴ잘쏨 걍말그대로 안보고 쏨 활만 한정된게 아니라 골프공, 총, 다트 안가림 2. 불스아이 벤자민 포인덱스터 사이코임 호크아이랑 유사함 총이나 장거리 무기 ㅈㄴ잘쏨 차이라면 도탄한다는건데 고아새끼가 지 야구 코치 좆같다고 공 도탄시켜서 죽임 각종 투척물 이용하여 던지는게 특징인데 격투실력 ㅆㅅㅌㅊ인 호크아이 상대로 승리함 3. 퍼니셔 프랭크 캐슬 해병대 출신임 가족 다죽고 흑화해서 빌런들 잔인하게 죽임 워낙 인정사정없이 싸워서 초능력 없음애도 초살냄 4. 블랙위도우 나타샤 로마노프 소련의 요원 양성기관 레드룸 출신으로 불임수술 받음 보지라서 위에 나온 인원에 비해 꿀려보이지만 잠입 첩보능력은 확실히 마블 최상위권 수준 게다가 어벤져스 1편에서 무려 빡친 헐크한테서 살아남음 5. 베트록 캡아 윈터솔저에서 초반 배에서 캡아하고 방패놓고 맞다이 까다가 진 빌런임 이후 앰흑 캡팆과 맞짱까는데 방패를 의자로 쳐내는 격투기술을 보여줌6. 에릭킬몽거 블랙팬서에 등장하는 메인빌런 데브그루와 용병출신으로 총기와 폭발물 사용에 굉장히 능숙하고 로스장군(지금은 레드헐크)조차 게임하듯이 사람을 죽인다고 할정도로 엄청난 실력을 가졌음 이후 하트허브 빨고 트찰라를 압도하나 기습으로 인해 사망함 하트허브 빨기전 기준으로 해도 노베이스 캐릭터들중 최상위권이라 봄 ㅇㅇ 7. 제모남작 헬무트 제모 누군지 모를텐데 시빌워에서 어벤져스의 내분이 나게만든 빌런임 소코비아 특수부대인데 자력으로 각종자료를 수집 해독 계획하여 결국 어벤져스를 내분나게 만드는데 성공함 특수부대 정도의 피지컬이지만 계략과 업적은 최고인 수준
작성자 : 최철귀고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.