갤러리 이슈박스, 최근방문 갤러리
개념글 리스트
1/3
- 훌쩍훌쩍 대한민국 최악의 경영자에 대해 알아보자 이거보여주려고
- <전당포 사나이들>초레어 유희왕 카드 에디션 츄모몽
- 국회, 이준석 ‘성인지 감수성’ 결여 발언, ‘윤리특위’ 송부 예정 민주시민
- ‘尹 기소 여부’ 결정 앞둔 서울중앙지검, 출입 통제 ㅇㅇ
- 윤종신 슈스케 심사위원 시절 뒷이야기 ㄷㄷ... jpg Rose
직접 테스트 해본 AI 번역 대결
저도 물론이고 한패 만드는 많은 인붕이들이 초벌 번역할 때 AI의 도움을 받고 있음근데 요즘 LLM AI 종류가 너무 많잖음사실 저도 뭘 써야할지 몰라서 관성적으로 Gemini만 썼던 듯그래서 제가 AI들 테스트용으로 문제 몇 개 만들어서AI들이 잘 번역할 수 있나 시켜보기로 했음점수는 안 매길거라 벤치마크라 할 정도는 아니고 ㅋㅋ먼저 테스트를 받을 선수 소개부터가장 대중적으로 알려진 LLM인 ChatGPT부터매달 200달러를 내야 쓸 수 있는 o1 pro를 제외하면GPT계열 중에서는 가장 높은 급의 모델이 바로 o1오늘 대회에서는 o1 pro는 금전적으로 무리이기 때문에 o1이 참가하기로 한다이쪽은 매달 20달러를 내면 일주일에 50번 쓸 수 있셈존나 짜다고 생각하지만 번역만 잘 해준다면야... 구글이 만든 LLM인 Gemini제미니인지 제미나이인지 헷갈리는 이름이 특징이번 테스트에는 Gemini 2.0 Flash Thinking이 참가한다여기서 Flash는 경량화 모델라는 뜻으로 빠르고 가벼운 대신 좀 멍청하다GPT로 치자면 o1을 경량화 해서 만든 o1 mini랑 비슷한 포지션 Gemini 2.0 Pro 모델이 아직 출시 안했기 때문에 Flash가 대신 참가하는 걸로...이쪽은 대기업이라 그런지 말도 안되는 양을 무료로 사용할 수 있다중국에서 개발된 오픈소스 LLM인 deepseekChatGPT이나 Claude 같은 다른 AI 긴빠이 쳐서 만들었다는 소문이 많다최근에 나온 deepseek r1 모델이 GPT o1 모델과 벤치마크를 비비는 결과를 많이 냄그래서 이번 테스트에는 deepseek r1이 참가한다deepseek을 많이 안 써봐서 무료 한도는 잘 모르겠으나api가 말도 안되게 저렴하다는 것 같음오픈소스인 관계로 컴사양이 좋다면 로컬로도 돌릴 수 있음이렇게 보면 장점만 있는 모델 같지만중국에서 만든 관계로 중국과 관련된 정치적인 질문을 하면갑자기 멍청해지면서 같은 말만 하는 앵무새가 된다;;테스트 사용될 텍스트들은 하나를 제외하면 실제 게임에 있는 것들임제외된 하나도 실제 게임 텍스트에서 제가 약간 수정한 것현직 게임 번역가들이 번역할 때 고민했다고 말한 텍스트나제가 생각하기에 번역이 어려웠을 법한 텍스트로 골라왔음번역 작업은 피로도나 시간 소요가 크기 때문에AI를 여러번 돌린다던가 프롬프트를 정교하게 깎는 건 테스트에서 배제함AI랑 씨름할 시간에 직접 머리를 쥐어짜서 번역하는 게 더 낫기 때문아래부터는 테스트 결과임치커리의 대사를 가공해서 만든 문제실제로 치커리는 주인공의 성별을 알 수 있는 텍스트는 하나도 없고번역가들에게 주인공의 성별 알 수 없도록 번역해달라고 요청을 넣음원문은 Clementine's my younger sister. I'm older than her인데한국어 문제에 맞게 조금 변경함제가 생각해둔 모범 답안은 "나는 클레멘타인의 동생이야. 내가 걔보다 어려."GPT o1의 답변조금 억지를 쓰긴 했는데 노력했다...한글 패치 같이 아마추어 번역이었으면 무리 없이 쓸 수 있을 듯Gemini의 답변아..앞 문장에서 가족 관계를 나타내는 말이 사라져버렸다뒷 문장에서 나이의 많고 적음에 대해 언급하기 때문에 어색하기까지 함deepseek r1의 답변Gemini처럼 가족관계를 의미하는 게 많이 옅어졌다그래도 앞말과 뒷말이 완전 같지 않아서 어색하진 않다이번 게임 텍스트는 솔트 앤 새크리파이스가 출처영어에는 첫 글자를 대문자로 적어서 고유명사화 하는 용법이 있음한국은 이런 용법이 없기 때문에 mage와 Mage를 구분지을 방법을 생각해야 한다참고로 실제 인게임 한국어 번역은 Mage를 마법사라고 번역해서 구분이 안됨...일본어의 경우에는 魔導司로 번역하여 일반적인 표기인 魔導師와 구분지음 GPT o1의 답변음차를 한 다음에 괄호 안에 Mage를 넣었다원문을 최대한 정확하게 담아야하는 학술 번역이 아닌 이상이런 식의 괄호 넣고 괄호 닫고는 보기 안 좋은 번역이라 쓰지 않는다뭐 아마추어 번역이라면 아슬아슬하게 쓸 수 있으려나...?Gemini의 답변단순하게 메이지로 음차를 했다deepseek r1의 답변마도사로 번역함Mage는 이 게임 특유의 존재로, 일반적인 mage들과는 구분되는, 플레이어와 대립하는 강력한 마법사들입니다. 라는 프롬프트까지 번역하려는 사소한 실수를 했다Gemini랑 deepseek 중에 뭐가 더 낫냐고 하면 잘 모르겠다나라도 메이지 아니면 마도사 중에 고민했을 것 같은데더 좋은 AI가 나오면 이것들보다 더 나은 제안을 해주지 않으려나세번째 문제는 텍스트 기반 SF 네러티브 게임인 시티즌 슬리퍼참고로 emulation은 emulate의 명사형으로모방하는 행위로서 능동적인 명사형일 수도 있고모방된 결과물로서의 수동적인 명사형일 수도 있다시티즌 슬리퍼에서는 후자겠지만참고로 비공식 한글 패치에서는 피이식자로 번역함공식 일본어의 경우에는 의사 생명체로 번역함(doctor 생명체 아님)GPT o1의 답변아까도 얘기한 거지만 괄호 넣는 건 큰 감점요인물론 프롬프트에 학술 번역이 아니라는 말은 한 적이 없지만문맥상 미디어 번역이라고 추측할 수 있기 때문에 이건 o1측의 실수라고 본다Gemini의 답변모사체 정도면 꽤나 마음에 든다내가 과연 모사체보다 더 나은 번역을 찾을 수 있나를 생각해 봤을 때매우매우 합격점deepseek r1의 답변복제체랑 모사체랑 비슷한 거 아닌가? 싶다가도굳이 우열을 가리면 모사체 쪽을 고르고 싶음복제체는 뭔가 Emulation보다는 Copy의 느낌이 나는 듯네 번째 테스트는 할로우 나이트 몹 작명 테스트영어권 화자는 Shrumeling라는 이름을 들으면버섯 + 작은 존재 라는 이미지를 받을 수 있다이것을 반영하여 Shrumeling의 이름을 지어줄 수 있을까?공식 한국어 번역은 버섯돌이GPT o1의 답변두 개 이상 제시하면 하나만 고르라고 시키려고 했는데슈룸링이나 버섯링이나...작은 존재라는 의미의 ling의 의미가 전달되지 않아 실패웃긴 건 사고의 체인 과정을 엿보면 꼬마버섯, 버섯둥이, 버섯꼬 고민하다가답변할 때는 원어를 살리고 싶었는지 슈룸링 버섯링으로 대답함 ㅋㅋㅋGemini의 답변다섯 개나 던져줘서 깜짝 놀람뭐 내가 하나만 대답하라고는 안했으니...그래서 하나만 고르라고 했는데 버섯쫄랑이를 고름솔직히 좀 귀엽다피도 눈물도 없는 AI가 지은 것치고는 잘 지은 듯deepseek r1의 답변난 글로벌 일관성을 챙기라는 말을 한 적이 없는데...얘도 사고 과정을 클릭해서 살펴보면버섯둥이, 꼬마버섯, 버섯아가, 버섯꼬마.. 다양하게 고민하다가갑자기"영어권 화자가 Shrumeling이라는 이름을 읽었을 때 떠올릴만한 이미지를 반영하여"를 잘못 해석해서글로벌 일괄성을 지켜야 해! 라며 버섯링으로 대답해버렸다원문의 출처는 발더스 게이트 3한국어로 치면 태성태세문단세를 현지화하라는 미션얼마나 찰지게 번역할 수 있을까?공식 한국어 번역은엘프마을 미남청년 팔자주름 덜보이려 안타깝던 사자수염 유려하게 길렀더라GPT o1의 답변엘리트 미남이 파티에 디딤돌 안에서 실컷 준비, 길 떠난다???앞글자는 맞추긴 했는데 솔직히 무슨 말인지 모르겠다문장 구조도 이상한 듯Gemini의 답변엘사 미모 팔자 주름, 디카로 안 찍으면 실망, 준비하고 길 떠나자문장 구조도 그렇고 말뜻도 대충 억지부리면 해석이 되는 것 같다원래 니모닉이란 게 약간의 억지 정도는 봐줄 수 있다괜히 딴지 걸자면 판타지 세계관에서 디카는 안 어울리기도 하고굳이 디카로 줄여부르니까 -틀- 같다는 정도?deepseek r1의 답변엘리야, 미안해! 팔 뻗어 디밀어, 안 되면 실랑이 준비해 길을!문장 구조가 막 이상한 건 아닌데니모닉이라기에는 말의 연결이 자연스럽지 않다니모닉이라기보다 누가 옆에서 n행시 시켜서 막 뱉은 것 같다이번 테스트의 최종 보스가 아닐까토익 고득점자도 영어가 어려워서 포기한다는 썬리스 씨 되겠다참고로 이 Rubberies 방언은 영어권 화자들도 100% 확신을 못하고 있다Worracoovaprisnz는양붕이는 Oracular prison로 추측했고비공식 한글 패치 만든 유동은 What a covert prison라고 생각한 건지찬비미리마은가목이갸(참 비밀이 많은 감옥이야)라고 번역함Lemmesithertow!는 Let me see the toad!가 맞는 듯비공식 한글 패치에서는 랄저도거비드라게데리가즈!(날 저 두꺼비들에게 데려가줘!) 라고 번역함당연하지만 셋 다 박살이 났다...세 AI 다 Let me see 혹은 Let me sit으로 추측하는 것까지는 했지만앞대사는 전혀 파악하지 못했고 뒷대사는 초월번역에 실패했다deepseek은 covert prison나 Let me see the tower까지 생각해놓고결국 힘들었는지 음차를 때려버렸다;;결론AI 번역은 아직 갈길이 멀고 멀다...그리고 번역하자고 o1을 돈주고 쓰느니 deepseek이나 gemini를 쓰는 게 나을 것
작성자 : 빗소리P고정닉
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.