2022년 11월 30일 발표된 ChatGPT는 인간이 만든 그 어떤 기술보다도 빠른 속도로 확산되고 있다. 혹자는, 인공지능의 특이점이 왔다고 말하기도 하며, 어떤 이는 지난 20년간 인터넷 검색엔진 시장을 지배한 Google을 ChatGPT가 대체할 것이라고 한다. ChatGPT 공개 후 5달이 지난 지금, 사람들은 ChatGPT의 뛰어난 성능을 체험함과 동시에 그 한계도 이해하기 시작했다. 그리고 그 한계를 극복하기 위한 노력들도 벌써부터 진행되고 있다. 이번 칼럼에서는 ChatGPT가 무엇인지 알아보고, 효과적인 사용방법과 한계, ChatGPT가 가진 잠재력을 극대화 시킬 수 있는 발전 방향에 대해 생각해 보고자 한다.
ChatGPT 열풍
2023년 4월 현재 시점에서, 올해 최고의 핫 이슈를 선정하라면 단연 ChatGPT를 꼽을수있을것이다. 2022년11월30일 처음 공개 된 ChatGPT는 일부 개발자들 사이에서 입소문이 돌더니, 겨우 두달 지난 2023년 1월 27일, 정부 신년 업무보고에서 대통령의 입에 거론되기에 이르렀다.
이 자리에서 윤석열 대통령은 “이 분야를 잘아는 지인에게 2023년도 대통령 신년사를 ‘ChatGPT’가 쓰게해서 받아봤다. 정말 훌륭하더라.”라고 말했다. 윤대통령은 장관취임 언론간담회 준비로 많은 공무 원들이 밤을 새우며 문서작업을 하는 일화 를 예로 들며, ChatGPT와 같은 디지털혁신기술을 이용해 공무원들의 불필요한 업무시간을 획기적으로 줄일 수 있는 방법을 적극적으로 찾아보도록 주문했다.*[efn_note]※ 조선일보, “챗GPT에 신년사 써보게 하니 훌륭 … 잘연구해보라”, 2023.01.23[/efn_note]
OpenAI ChatGPT의 등장
ChatGPT가 등장하며 보여준 파급 력은 우리나라에 국한된 것이 아니 다. ChatGPT가 공개된 이후, 검색엔 진의 절대 강자였던 Google의 시가 총액이 150조원이나 증발했다.*[efn_note]※ 한겨레, “챗GPT 대항마, 구글 바드 오답 ‘망신’… 시가총액 150조원 증발”, 2023.02.11[/efn_note] ChatGPT는 검색엔진과는 성격이 다르고, ChatGPT의 핵심 기술인 ‘Transformer’를 만든 것이 다름 아닌 Google임에도 말이다. 이러한 사실관계와 별개로, 시장은 ChatGPT 가 Google의 기능을 상당부분 대체할 것이라고 기대하는 듯하다. 즉, 1998년 Google이 등장해 대학생들의 과제작성과 직장인들의 정보검색 효율을 극대화 하며, 야후, 라이코스, 알타비스타 등, 난립했던 웹 검색엔진 시장을 평정했던 것처럼, ChatGPT의 등장이 우리의 업무방식과 학습방식을 상당히 바꿀 것이라고 전망하는 것이다.
ChatGPT 열풍은 1회성에 지나지 않을 가능성이 높아 보인다. 이미 많은 사람들이 그효과를 확인했고 다양한 분야로 사용범위를 넓혀가고 있기 때문이다. 이에 이번 Weekly 에너지 정보에서는 ChatGPT 가 무엇인지 알아보고, 우리 업무에서의 활용도와 한계, 그리고 발전 방향에 대해 생각해 보고자 한다.
ChatGPT 란?
ChatGPT에게 ChatGPT가 무엇인지 물어 공학에 관심이 없던 사람이라면 이 답변을 보았다(그림1). 평소 인공지능이나 컴퓨터 온전히 이해하기 어려울 수 있다.
ChatGPT가 무엇인지 이해하기 위해 하나하나 차근차근 확인해보고자 한다. 우선 ‘Chat’은 당연히 채팅을 의미한다. ChatGPT라는 인공지능이 채팅형식으로 구현된다는 뜻이다. ‘자연어’는 C+, Java, Fortran처럼, 엄격한 문법 규칙을 따라 작성된 컴퓨터언어가 아니라 사람들이 일상적으로 쓰는 언어를 말 한다. 컴퓨터공학에서 기계어와 대비되는 단어다. 그리고 GPT는 컴퓨터 인공지능 분야에서 사용되는 용어들의 머리글자 G, P, T를 합친 것이다. 이 ‘G,P,T’라는 알파벳에 ChatGPT의 특징이 담겨있는 것이다.
Generative
GPT에서 G는 Generative를 말한다. 이는 ChatGPT가 생성형(Generative) 인공지능임을 나타낸다. 왜 굳이 ‘생성형’을 강조했는 지를 이해하기 위해서는 인공지능의 발달 과정을 잠시 살펴보아야 한다. 불과 5년 전만 하더라도 인공지능을 이용한 문제 해 결 방식은 주로 ‘분류’와 ‘회귀’였다(그림 2). ‘생성’은 최근에야 본격적으로 사용되 기 시작했다.
분류(Classification)는 사진에 있는 동물 이 강아지인지, 고양이인지 구분해 내거나 사진에 신호등이나 자전거가 있는지 없는지 판독하는 인공지능 기법을 말한다. 스캔된 문서에 적힌 글자가, ‘a’인지 ‘b’인지 판독하는 OCR 모델 역시 분류모델의 일 종이라고 생각 할 수 있다.
회귀(Regression)는 인간의 힘으로는 관계를 찾기 어려운 여러 변수들 사이의 관계를 찾는 인공지능 기법이다. 아파트가격 예측을 예로 들수있다. 아파트 가격은 지하철역과의 거리, 인근 학교의 개수, 학 교의 상위대학 진학률, 범죄율 등, 많은 변수들과 연관되어 있다. 여러 변수들과 아파트가격 사이의 관계를 설명하는 인공지 능모델을만들때회귀모델을사용한다. 같은 주제에 대해서 두 가지 방법으로 접근 할수도 있다. 같은 내일 날씨예측이라 하더라도 기온의 영향을 주는 변수들과 기온사이의 관계 모델을 도출해 내일 기온을 예측하는 모델은 회귀모델, 특정 온도를 기준으로 추운날과 더운날로 구분한뒤 내일이 추운 날일지 더운 날일지 예측하는 모델은 분류모델로 볼 수 있다(그림2).
반면, 생성모델은 분류나 회귀와 같은 기존의 인공지능 기술대비 매우 복잡한 연 산이 필요하기 때문에 최근에야 발전하기 시작했다. 대신에, 그만큼 적용 범위가 넓고 성능이 강력하다. 생성모델은 말 그대 로 인공지능이 그동안 학습된 자료를 바탕으로 하여 무언가를 새롭게 ‘생성’해내는 기술이다. 생성모델이 만들어내는 것들은 매우 다양하다. 글, 그림, 사진, 음악, 영상, 음성 등, 우리가 생각할 수 있는 거의 모 든 분야에 적용되고 있고, 그 활용성이 확인되어 매우 빠르게 확산되고 있다.
ChatGPT에서 G는 글을 생성한다는 의미로 생각할 수 있다. 인터넷, 서적 , 뉴스기사 등 다양한 시대, 다양한 출처,다양한 언어의 자료를 미리 학습한 뒤, 학습된 자료로부터 글을 생성해내는 것이 G가가진 의미이다.
Pre-Trained
GPT에서 P는 Pre-trained의 앞 글자이다. 이는 ChatGPT가 사전에 학습된 정보를 바탕으로 문장을 생성함을 나타낸다. 그런데 여기에는 인공지능 성능의 핵심인 학습모델을 개선시키는 방식에 대한 내용이 내포 되어 있다. 예를 들어, 서울 강남구의 아파트 가격을 설명하는 인공지능 모델을 만들 기 위해서는 서울 강남구의 데이터를 사용 해야 한다. 이후, 서초구, 송파구, 종로구, 등 다른 여러 지역의 아파트 가격과 다른 변수들의 상관관계가 알고 싶은 경우, 추가 로 해당 지역의 데이터로 새로운 모델을 도출해야 한다.
이때 강남구 이외 지역의 예측모델을 도 출하는 방법으로 두 가지를 생각해 볼 수 있다. 하나는 각 지역별로 학습을 수행해 서 모델을 지역마다 각각 도출하는 방법이 다. 다른 하나는, 먼저 학습된 강남구 모델 을 불러온 뒤 다른 지역의 상관관계를 추 가로 강남구 모델에 업데이트해 보다 확장된 인공지능 모델을 만드는 방법이다. 두 가지 방법 각각의 장점과 단점이 있지만, ChatGPT처럼 다양한 출처, 다양한 언어의 방대한 정보를 다룰 경우에는 두 번째 방법이 유리하다. 즉, GPT에서 P는 ChatGPT 가 하나의 거대한, 사전 학습된 모델을 기 반으로 글을 작성하며, 이것을 업데이트 할 수 있다는 의미가 된다. 실제로 OpenAI는 개인이 ChatGPT의 GPT 모델을 업데이트(Fine-tuning)하는 서비스를 제공 하고 있다.
Transformer
마지막으로 GPT에서 T는 Transformer의 앞 글자이다. T는 앞의 G나 P보다 기술적이고 전문적인 내용을 담고 있다.
Transformer는 사실 인공신경망 이름인데, 자세한 내용은 일반상식으로 다루기에 다소 어렵다. Transformer라는 이름은 무언 가를 변환하는 것을 매우 잘하기 때문에 붙었다고 생각하면 상식수준에서 충분할 것이다. 따라서, 아래 내용은 읽기에 어렵 다면 건너뛰어도 무방하다.
인간이 사용하는 자연어를 다룰 때에는 ‘문맥’이 굉장히 중요하다. 컴퓨터가 사용 하는 기계어는 매우 엄격한 문법 체계를 지키지 않으면, 원하는 알고리즘이 실행되지 않지만, 우리가 사용하는 언어는 문법 이 틀리더라도 뜻이 통한다. 또, 같은 말도 상황에 따라 다른 의미가 된다. 때문에, 컴 퓨터가 자연어를 다루기 위해서는 컴퓨터 에게 ‘문맥’을 가르치는 것이 필요하다.
Transformer가 등장하기 전까지, 자연어 처리에 가장 널리 사용된 알고리즘은 RNN(Recurrent Neural Network) 계열의 회귀 신경망들이다. 회귀신경망을 이용해 ‘나는 한국사람 입니다.’라는 문장을 ‘I am Korean’로 변환할 때, 전체 문장에서 ‘나 는’, ‘한국사람’, ‘입니다.’라는 각 단어의 순 서와 관계가 신경망에 반영된다. ‘문맥’이라는 개념이 인공신경망에 반영된 것이다. 이는 기존의 DNN(Deep Neural Network) 과 같은 일반적인 인공신경망에는 없는 특징인데, 이때문에 오랜 기간 동안 RNN 계열의 인공신경망이 기계 번역과 같은 자연어 처리 분야에서 각광을 받아왔다. 그 내용을 매우 간단하게 기술하면 <참고1> 과 같다.
기존 자연어 처리 방법의 한계는 계산의 양과 속도 때문에 Context Vector를 사용해야 하는 데 있었다.앞뒤 문맥에 따라 단어를 대표하는 벡터를 만들고, 이를 Context Vector로 평균할 때 정보가 압축, 손실되기 때문에 정확한 정보 변환이 어려웠다. 즉, ‘문맥’이 과하게 압축되다 보니 자연어를 정확히 처리하는데 한계가 있었 다는 뜻이다. 이를 극복하기 위해 등장한 것이 Transformer 알고리즘이다.
2017년 Google이 발표한, 공학 논문 치 고는 꽤 세련된 제목의 ‘Attention Is All You Need’라는 논문으로부터 Transformer가 탄생했다. 이 논문에서 강조하는 Attention은 인간의 집중력을 모사한 인공 지능 기법이라고 생각할 수 있다.
RNN 알고리즘으로 ‘나는 한국사람 입니다.’를 영어로 번역하는 경우, 문맥을 고려해 단어를 수치화한 벡터를 만들고, 이를 평균 해 Context vector를 만들었다. 이에 반해 Attention이 적용된 Transformer 신경망은 ‘나는’, ‘한국사람’, ‘입니다.’ 중 어느 단어 에 집중해야 할지 가중치를 부여한다. 그리고 이를 압축된 Context vector 분석을 통해 번역을 수행하는 것이 아니라 각 단어 벡터를 모두 고려하여 번역을 수행한다. 훨씬 많은 정보들이 Transformation 되는 것이다. 즉, Chat, G, P, T를 종합하면 Transformer라는 알고리즘을 이용하여(T) 자료를 미리 학습시키고(P), 그 학습 자료 로부터 글을 생성하는(G), Chat 형태의 인 공지능 솔루션이라고 정리할 수 있다.
ChatGPT, 어떻게 쓸까?
지금까지 ChatGPT가 무엇인지 알아보았 다. 그렇다면 ChatGPT는 어떻게 써야 할까? ChatGPT는 스스로가 설명하듯이 ‘언어모델’ 이고 ‘Pre-trained’ 정보를 활용한다. 즉, 번 역이나 글의 요약, 기존에 인류가 쌓아 올린 텍스트 데이터에 기반한 작문, 설명을 잘 할 수 있다는 뜻이다.
반대로, 실시간으로 벌어지고 있는 사건이나 과거에 실제로 존재하지 않았던 사 건, 널리 알려져 있지 않은 정보에 대해서는 엉터리 답을 내놓는 경우가 많다. 예를 들어, 과거의 유명한 역사적 사건에 대해 질문하면, 아래와 같이 비교적 정확한 답변 을 내놓는다. ‘인민’, ‘폭동’ 이란 단어가 눈 에 거슬리긴 하지만 전체적인 답변의 맥락 은 꽤나 정확한 것으로 판단된다(그림 3).
하지만, 그림 4와 같이 질문자체가 ‘Pre-trained’ 데이터베이스에 없는 내용이 거나, 실제 존재했던 사건이라 하더라도 그다지 유명하지 않은 사건이라면, 전혀 엉뚱한 답변을 그럴듯하게 지어내는 것을 볼 수 있다.
종합하면, 다음 내용들을 다룰 때 ChatGPT를 사용하는 것이 효율적이라는 결론에 이른다. 각각의 항목을 예를 들어 확인해 보자.
- 널리 잘 알려져 있는 일반적인 사건, 기록, 이론에 대한 설명
- 정형적인 패턴이 있는 문서의 초안 작성(프로그래밍 언어 포함)
- 언어의 번역, 긴 문장의 내용 요약, 특정 단어의 어원과 배경 설명
(1) 잘 알려진 사건이나 기록, 이론에 대한 ChatGPT의 답변은 해당 내용이 유명할수록, 많이 사용되고 있을수록 정확도가 높아진다. 유∙가스 탐사에 널리 사용되는 감마선 검층자료(Gamma Ray log)로부터 셰일함량(Vsh)을 계산하는 방법에 대해 질문 해 보았다. 일부 한글화 과정이 어색한 부 분은 있지만 비교적 합리적인 답변을 도출 해주었다(그림5).
(2) 이어서, 위 내용을 프로그래밍 언어로 작성해 달라고 지시했다. 프로그래밍 언어 는 대통령 신년사보다도 더욱 정형적인 틀 을 갖추고 있고, 엄격한 규칙을 따라야하기 때문에 ChatGPT가 수행하기에 적합하다(그림6).
Input data나 일부 가정 사항들에 대한 일부 수정이 필요하지만, 누구나 빠르고 간단하게 원하는 알고리즘을 만들 수 있다.
(3) Transformer는 본래 자연어처리를 위해 고안된 신경망 구조이기 때문에, 언어를 다 룰 때 가장 뛰어난 성능을 보인다. 기본적 인 번역, 긴 글의 요약은 물론이고, 문맥상 단어의 어감, 유래를 파악하는데 요긴하게 사용될 수 있다. 예를 들어 석유 시추에 사용되는 ‘Kick’이라는 단어에 대해 물어보면, ‘Kick’이라는 단어의 뜻과 유래에 대한 합리적인 설명을 받아 볼 수 있다(그림7). 물론 합리적인 것과 이것이 정말 진실이냐는 것은 다른 문제다. ChatGPT의 답변은 ChatGPT가 강점을 보이는 언어와 관련된 것일 지라도 항상 의심하는 것이 좋다.
ChatGPT 한계는?
ChatGPT는 언어모델이기 때문에, 번역, 문서작성, 프로그래밍 코드 작성과 같은 언어와 관련된 과제를 해결하는데 탁월한 성능을 보인다. 그리고 매우 잘 알려진 사건이나 이론을 설명하는데도 괜찮은 정확도를 보여준다. 하지만 이를 반대로 말하면, 그렇게 유명하지 않은 사건, 기록, 이론에 대해서는 틀린 내용을 진실인 것처럼 답변 할 가능성이 매우 높다는 뜻이다. 앞서 3.1 운동과 5.1운동의 예시에서 보듯이 전혀 엉뚱한 답변을 내놓아도 우리는 이것이 진실 인지 아닌지 구분하기 어렵다. 이를 검증하는 것은 온전히 사용자의 몫이다.
결론적으로, 우리가 ChatGPT를 업무에 이용할 때 항상 유념해야 할 점은 전문적인 지식에 대한 ChatGPT의 답변을 그대로 맹신하면 안 된다는 것이다. 전문적이고 지엽적인 분야로 갈수록 ChatGPT의 정확 도는 떨어지지만, ChatGPT가 내놓는 답변 은 여전히 그럴듯하기 때문이다. 또한, ChatGPT가 내놓는 답변은 그 출처를 공개하지 않기 때문에 직접적인 검증 역시 어렵다. 이러한 이유로, ChatGPT를 곧바로 중요한 의사결정에 반영하기에는 아직 무리가 있다. 정형적 틀을 갖춘 문서를 작성하거나, 글의 내용을 요약할 때, 외국어 단어의 생소한 의미와 어원을 파악할 때,그리고 거시적인 통찰을 얻고자 할 때 사용하는 것이 안전해 보인다.
ChatGPT, 어떻게 될까?
하지만 이러한 문제들을 보완하기 위한 노력들이 진행되고 있고, 일부는 벌써 결과물로 나타나고 있다. 지난3월30일 금융경제 정보를 제공하는 미국 Bloomberg社는 금융 분야에 특화된 BloombergGPT를 발표했다(그림8)*[efn_note]※ Bloomberg, “Introducing BloombergGPT, Bloomberg’s 50-billion parameter large language model, purpose-built from scratch for finance, 2023.03.30[/efn_note]. 만휘군상에 대해 넓고 얕게 학습된 ChatGPT와는 달리 금융 데이터를 집중적으로 학습한 BloombergGPT 는, 금융분야에서 기존 모델 대비 월등한 성능을 보인다고 한다.
미국의 IBM과 NASA도 상호 협업하여 특정 분야에 특화된 인공지능 언어모델을 구축한다고 발표했다*[efn_note]※ IBM, “IBM and NASA Collaborate to Research Impact of Climate Change with AI”, 2023.02.01[/efn_note]. 바로 지구과학 연 구를 위한 새로운 인공지능 언어모델이다. NASA가 보유한 지표지형변화, 대기관측 데이터, 자연재해정보, 주기적 작물 수확량, 야생동물서식 현황, 위성정보 등을 이용해 인공지능 언어모델을 개발하겠다고 발표했다. IBM과 NASA는 이 프로젝트를 통해 기후위기 대응을 위한 새로운 통찰을 얻기를 기대한다고 말한다.
그리고, GPT 이외에도 새로운 인공지능 언어모델들이 속속 발표되고 있다. 그 중 가장 사람들의 시선을 모으는 것은 Google의 BERT*[efn_note]※ BERT: Bidirectional Encoder Representations from Transformers의 약자로, 역시 Transformer다.[/efn_note]아키텍처를 이용한 Question-Answer 모델이다(이하 QA 모델). QA 모델은 특히 ‘기계독해’라는 새로운 분야를 창출하는데 사용되고 있다. 기계독해란, 사람대신 책을 읽고 내용을 설명해 주는 인공지능이라고 생각할 수 있다. 예를 들어, 읽기 싫은 두꺼운 전공서적을 QA 모델에 입력하고, 책 안에 있는 내용을 질문하면 인공지능 언어모델이 요약 답변 해 주는 것이다.
또한, 석유업계에서도 조만간 비슷한 업계 특화 GPT가 발표될 것으로 기대된다. 석유 업계에는 많은 서비스컴퍼니들이 존재하고, 그 서비스컴퍼니들은 고객의 질의 응답에 대응하기 위해 많은 시간과 인력을 투입하고 있기 때문이다. 석유업계 GPT가 상용화 될 경우, 석유기업들은 직원을 교육하는데 많은 비용과 인력을 줄일 수 있을 것이고, 탐사,운영,개발 중 시행착오를 줄일 수 있을 것이다.
결론
ChatGPT가 등장하자마자 보여준 파급력 은 가히 폭발적이었다. 공개 두 달 만에 사용자 1억 명, 일 사용자 1,300만 명을 돌파했다. 서비스 개시 후 사용자 1억 명 이 될 때까지, 전화는 75년, 휴대전화는 16년, 인터넷은 7년, 인스타그램은 2년이 걸렸다고 한다.*[efn_note]※ INSIDER, “It took 75 years for the telephone to reach 100 million users”, 2015.07.29[/efn_note] ChatGPT가 얼마나 빠르 게 사람들의 관심을 끌어 모았는지 가늠해 볼 수 있다(그림9).
ChatGPT 등장이 중요한 이유는 단순히 뛰어난 챗봇 서비스 개시에 있는 것이 아니라 거대언어모델의 잠재력을 보여줬다는 데 있다. IT 업계를 제외하고 거대언어모 델의 잠재력을 가장 빠르게 알아본 업계는 역시 금융권이다. ChatGPT가 발표된 지 불과 4달 만에 금융정보에 특화된 BloombergGPT를 발표한 것이 그 증거다.
머지않아 석유업계에서도 업계에 특화된 자체 인공지능 언어모델이 개발될 확률이 높다. 업계에서 많은 수요를 갖고 있고, ‘Pre-trained’ 모델을 만들기 위한 많은 정 보들을 이미 보유하고 있기 때문이다. 석유업계 GPT의 시작은 서비스컴퍼니나 메이저 석유기업에서 먼저 포문을 열 것이 다. 하지만, 그것은 매우 정석적이고 거시적인 통찰을 줄 것이다. 물론 그것 만으로도 큰 도움이 되겠지만,우리땅,우리자 산에 대한 울림은 상대적으로 적을 것이 다. 우리의 자료가 ‘Pre-trained’ 되지 않았기 때문이다.
인공지능 언어모델의 잠재력을 극대화하려면, 우리의 데이터를 언어모델에 포함시켜야 한다. 이것은 생각보다 간단하지 않다. 우리가 보유한 자료들을 학습에 적합 한 형태로 바꾸는 단순한 작업도 사실은 굉장한 시간과 노력이 필요하기 때문이다. 하지만 그 노력의 대가로 우리의 정보자산을 이용해 만들어진 ‘Pre-trained’ 모델을 얻을 수 있으며, 그 ‘Pre-trained’ 모델은 ChatGPT보다 우리 생각을 더 잘 이해할 것이다. 그리고 이것을 준비하는 일은 빠르면 빠를수록 좋을 것이다.
※ 본 글은 필자의 개인적 견해이며 석유공사의 공식입장은 아닙니다.
이동석 대리 - 한국석유공사 에너지정보팀
GS칼텍스에 의해 작성된 본 콘텐츠는 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스에 따라 이용할 수 있으며, 한국석유공사의 저작물에 기반합니다.
본 글은 필자의 개인적 견해이며 석유공사의 공식입장은 아닙니다.
본 콘텐츠의 IP/콘텐츠 소유권은 한국석유공사에 있으며 Reproduction을 제한합니다.