PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2022/05/20 07:52:23
Name 문문문무
File #1 6cf3bc5f16ba23b787c47bbc87bea04c.png (56.9 KB), Download : 32
출처 1차는 구글 AI블로그, 2차는 펨코
Subject [기타] 구글의 최신 언어AI (수정됨)



1차출처(구글 AI블로그)
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1

2차출처(펨코)
https://www.fmkorea.com/index.php?mid=mystery&document_srl=4497456898&search_keyword=AI&search_target=title_content&page=1

구글이 작년에 내놓은 대규모 언어모델(LLM = GPT-3가 속한 범주) PaLM 
새로운 언어 모델링 테스트 모음인 BIG-bench(BIG-bench)에서 획기적인 성능([최초로 인간평균을 넘어섬])을 달성함을 발견
(테스트내용이 무엇인지 궁금하신분들은 
https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/README.md 참고)

제가 대충 위의 링크로 들어가서 테스트내용이 뭔지보니까
철학,학문,수학,속담풀이,다양한난이도의 코딩, 동영상설명등등 
정말로 다양한 분야의 기본적이지만 세부적인 질문들이 들어있던것 같습니다.



#####
아주 살짝 디테일한 내용
트랜스포머(언어해석알고리즘)블록재구성, 병렬화등의 방법을 통해 계산을 좀더 병렬화시키는데 성공
-> 대충 알고리즘과 컴퓨터칩들의 배열을 좀더 다듬어서 더 많은 매개변수를 때려박을수 있었다는 뜻

고품질 웹 문서, 책, 위키백과, 대화 및 GitHub 코드를 포함하는 영어 및 다국어 데이터 세트를 사용하여 훈련

모든 공백(특히 코드에 중요한)을 보존하고, 
어휘가 부족한 유니코드 문자를 바이트로 분할하고, 
숫자를 각 자리마다 하나씩 개별 토큰으로 분할하는 "무손실" 어휘를 만듦
->대충 어휘가 가진 맥락을 최대한 손실없이 담아내려 노력했고 또 성공했다는 말인듯

#####

아직까진 파라메터 때려박은것 대비 성능향상의 기울기가 전혀? 하락하지 않았으므로 성능개선의 여지가 충분하다고 판단하여
계속 이런쪽(하드웨어,소프트웨어 최적화를 통한 모델크기 증대)으로 연구할 예정 

#####

저는 빠르면 30년대후반~ 늦어도 40년대초중반 즈음으로 봤었는데 
우와.... 이거 생각보다 특이점이 빨리 올지도? 30년대초반도... 가능...?



통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
다시마두장
22/05/20 07:53
수정 아이콘
이제 다 왔기 때문에 이제와서 영어를 배우기는 아깝다던 침착맨 1승 크크
League of Legend
22/05/20 07:58
수정 아이콘
힘내라
22/05/20 08:04
수정 아이콘
이거 믿고 우리 애 영어 공부는 교과서만 시킵니다 알파고님 충성 충성 풍성^^7
검은바다채찍꼬리
22/05/20 09:32
수정 아이콘
알파고님도 풍성은 힘드셔요.......

아 메타버스 들어가면 가능할지도?
Janzisuka
22/05/20 10:59
수정 아이콘
18남..7녀..다둥이 아빠님...
살려야한다
22/05/20 08:18
수정 아이콘
지금인가요
문문문무
22/05/20 08:19
수정 아이콘
나스닥 저점이 어디까지 갈지는 모르겠지만 일단 지금사놔도 10년뒤에는 상당하지않을까요
22/05/20 08:23
수정 아이콘
하지만 이런 ai도 망치 한방이면
자연어처리
22/05/20 08:34
수정 아이콘
저는 친칠라가 좀 더 인상깊었습니다. 흐흐
문문문무
22/05/20 08:37
수정 아이콘
뭐 누가 됬든 저런 다소 무식해보이는? 방법으로도
인간수준의 범용지능에 도달할 가능성이 높아졌다는 사실은 개인적으로 기쁩니다.
음란파괴왕
22/05/20 08:37
수정 아이콘
이제 게임 하나 만들때마다 10년씩 안기다려도 되는거겠죠? 빨리 gta6 내놔라!
문문문무
22/05/20 08:46
수정 아이콘
(수정됨) 근데 진짜로 10년내로 가능할것같아요
완전히 획기적인 아이디어를 내는건 당연히 불가능하겠지만
사람들이 짠 기획안을 따라 GTA6에 준하는 수준의 게임을 코딩해서 내놓는 수준은
진짜 10년내로 도달할수 있을것같습니다.
저게 알파고쇼크이후 불과 6년만에 도달한 성과니까요,
오징어게임
22/05/20 09:05
수정 아이콘
승리호에서 쓰던거 같은 통역기도 10년뒤 가능한걸까요?
와쿠와쿠
순둥이
22/05/20 11:31
수정 아이콘
거의 다 왔다고 봅니다
올해는다르다
22/05/20 09:19
수정 아이콘
가가 가가 가가 가가?
아델라이데
22/05/20 10:08
수정 아이콘
70점정도 달성하면 실시간 통역기 등장하겠네요.
탑클라우드
22/05/20 11:42
수정 아이콘
전문 통역 조직을 보유하고 운영하는 입장에서 매우 흥미로운 영역입니다.
특히 오역으로 인한 저희 직원과 본사 담당자와의 오해 발생이 제게는 꽤 큰 스트레스인데,
번역/통역 관련 AI의 급격한 발전과 특이점 도래를 진심으로 기원합니다.

아... 나도 쫌 살자...
동굴범
22/05/20 12:54
수정 아이콘
통역기가 실용화 되면 통역기용 언어가 만들어질 수도 있겠네요. 일상언어와는 다른게 통역이 용이한 좀 더 단순하고 문법에 맞고 발음에 신경쓰는...
문문문무
22/05/20 13:27
수정 아이콘
한 100년쯤뒤에는 그언어가 세계 표준언어의 모태가 되어있지 않을까요
동굴범
22/05/20 15:33
수정 아이콘
에스페란토 같은 식의 세계 표준어보다는 각 언어마다 통역에 용이한 형태로 변화할 것 같다는 생각입니다.
내국인끼리는 지금처럼 일상어 그대로 쓰겠지만 외국인과 대화할 때는 통역어(?)로 대화하는 식이죠.
문문문무
22/05/20 20:04
수정 아이콘
뭐 저는 그런현상이 100년쯤 지속되고나면 3~4가지로 통일되는쪽으로 수렴하지않을까 라는 생각이긴합니다만
100년은 너무 이를려나
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
455125 [기타] 과학적으로 최고인 MBTI [21] 판을흔들어라9055 22/05/28 9055
455124 [LOL] lck의 월즈 티켓이 4장 되면서 재밌어진 점 [24] newness8491 22/05/28 8491
455122 [LOL] 구마유시의 패기 [37] 반니스텔루이10162 22/05/28 10162
455121 [유머] 이와중에 히딩크 근황.JPG [15] 실제상황입니다11208 22/05/28 11208
455120 [유머] 테라-루나 권도형 바지 사장 논란.jpg [15] 삭제됨11182 22/05/28 11182
455119 [서브컬쳐] 미국판 덴마 근황 [14] 이히리기우구추6928 22/05/28 6928
455118 [LOL] 5년만의 국제전 결승, 아직도 페이커 [8] roqur6094 22/05/28 6094
455116 [기타] 아이들이 환장한다는 헬멧 [18] 니시무라 호노카8537 22/05/28 8537
455115 [LOL] 페이커 22 MSI 지표.jpg [28] 삭제됨6506 22/05/28 6506
455114 [LOL] 클템) RNG 나와! 정정당당하게 홈vs홈으로 붙자 [22] 실제상황입니다6404 22/05/28 6404
455113 [스포츠] T1 경기력 부활의 1등 공신 [13] 6639 22/05/28 6639
455111 [LOL] [MSI] 협곡의 신 [21] 올해는다르다5215 22/05/28 5215
455110 [LOL] 3:0 G2 트윗 [28] 우리는 하나의 빛7031 22/05/28 7031
455109 [기타] 유머아님) 루나코인 근황 [47] 니시무라 호노카11379 22/05/28 11379
455108 [연예인] 파쿠르 대회 1인칭 시점 gif [10] 니시무라 호노카7811 22/05/28 7811
455107 [스포츠] 마침내 K-아마존 체험하러 가는 브라질 대표팀.gfy (+바이킹 사진 추가) [14] Davi4ever7279 22/05/28 7279
455106 [기타] 최근 발의 됐다는 가상인물 성폭력 처벌법안 [33] 묻고 더블로 가!7605 22/05/28 7605
455105 [기타] 인스타 핫플 고기집 [32] 니시무라 호노카7552 22/05/28 7552
455103 [스포츠] 에버랜드 와서 티익스프레스 탄다고 긴장한 네이마르.mp4 [3] insane6366 22/05/28 6366
455102 [LOL] 실시간 G2 트위터 (2세트 갱신) [18] goldfish8098 22/05/28 8098
455101 [스포츠] 브라질 대표팀 에버랜드 입성.gfy (+네이마르 티익 탑승) [13] Davi4ever6294 22/05/28 6294
455100 [기타] 착시에 대해 ARABOL까 ? [1] 퀀텀리프4769 22/05/28 4769
455099 [유머] 인공지능의 정답률을 올리는 마법의 문장이 발견됨 [14] TWICE쯔위7076 22/05/28 7076
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로