이니의 공부일지

이번에는 조금 색다른 분야입니다. 언어 모델이 계속해서 커지면서, 이를 단순히 학습시키는 것조차 큰 문제가 되었습니다. 매우 큰 모델의 대명사인 GPT-3는 트랜스포머 디코더의 단 하나 레이어의 역전파를 계산하는 데에도 메모리 크기가 부족합니다. 이러한 거대 모델들이 어떻게 학습되었는지 알아보고, 우리가 사용해왔던 GPU가 가지는 특징 및 Multi-GPU의 활용 방법에 대해 알아봅시다. 최근 language model들은 데이터 크기와 모델 크기 모두를 늘리는 것이 추세였다. 이전에는 파라미터의 수가 그렇게 크지 않았지만, 모델의 크기가 크면 커질수록 성능이 좋아지는 것 때문에 GPT-3가 최종적으로 나오게 되었다. 175 billion 하지만, GPT-3 같이 너무 큰 모델은 학습시키는 것이 문제이다..

자연어처리 분야에서 가장 큰 시장 규모와 연구 커뮤니티를 가진 기계번역에 대해서 알아봅시다. 기계번역은 언어학자들이 주도한 statistical machine translation(SMT)부터 최근의 neural machine translation(NMT)까지 눈부신 발전을 거듭했습니다. 병렬언어 말뭉치를 기반으로 하는 supervised NMT부터 단일언어 말뭉치를 기반으로 하는 unsupervised NMT를 알아봅니다. 그리고, 여전히 존재하고 있는 번역 task의 어려움에 대해서 알아봅시다. 기계번역이 성능을 어떻게 높였으며, 어떻게 진행되었는지를 알아보자. Machine translation은 인공지능이 다루는 task 중 손에 꼽을 정도로 어려운 편에 속한다. 하지만, 어려움에 비해서 활용도가..

자연어처리 기술 적용 분야인 자연어 생성(text generation) 관련 내용입니다. 무엇이 text generation인가? text generation은 텍스트 생성하는 것이다. 지금까지 해온 것은 NLI(자연어 이해)이다. 문장을 받았을 때, pos, neg를 classification하는 것 등을 말한다. NLG는 문장 자체를 생성하는 것을 중점에 두고 있다. text generation은 다양한 분야에서 쓰일 수 있다. 챗봇, machine translation, 문장을 자유롭게 생성하는 것, 문장 요약 등에 쓰인다. open-ended generation에 대한 예시는 위와 같다. prompt로 단어 3개를 줄 때, 그 단어들에 대한 하나의 story가 생성되는 것이다. 또 다른 예시는, ..

오늘은 NLP의 기초와 word embedding에 대해 알아봅시다! 먼저, NLP의 정의 입니다. NLP란, 컴퓨터와 인간 언어 사이의 상호작용, 특히 많은 양의 자연 언어 데이터를 처리하고 분석하도록 컴퓨터를 프로그래밍하는 방법과 관련된 언어학, 컴퓨터 과학 및 인공지능의 하위 분야이다. NLP의 목표는 문서의 내용을 컴퓨터가 이해할 수 있도록 하는 것이며, '이해한다'는 것에는 문서 내 언어의 문맥적 뉘앙스도 포함한다. NLP는 문서에 포함된 정보와 인사이트를 정확하게 추출할 수 있을 뿐만 아니라 문서 자체를 분류하고 구성할 수 있다. NLP의 응용분야입니다. - 텍스트 분류 : 스팸 검출, 감정 분석, 등... - 질의응답 : 검색 엔진 - 기계 번역 - 챗봇 - 개인 비서(ex. siri, 빅스..