매개변수(W) 값만 잘 조절한다면, 딥러닝이라는 과정을 통해 결과를 도출한다.
-chatgpt 3.0의 용량은 0.7tb. 사용된 매개변수는 1750억 개. 0.7tb 정도의 용량 공간만 있어도 개인 컴퓨터에 인공지능을 설치할 수 있다.
우리가 기계학습을 통해서 프로그래밍을 ‘찾아낸’ 것이지, 프로그래밍을 ‘만들어 낸’ 것은 아니게 된다. 기본 골격 -예를 들어 chatgpt는 2000줄이라고 한다-만 인간이 작성한다면, 그 이상으로 프로그래밍이 진행된다는 것이고, 이는 윈도우즈 시스템의 사람이 수작업으로 적은 10억 줄의 코딩과는 비교조차 되지 않는다. 매우 지적 흥분이 일어난다. 철학적인 담론으로도 확장 가능할 듯 싶다.
우리는 시작과 끝을 알게 되었지만, 그 과정을 이해하지 못하게 된다. 이는 우리 뇌도 마찬가지였다. 우리의 직관적인 느낌으로 접근을 했지만, 아직도 인간의 뇌의 작동 ‘과정’은 이해하지 못한다. 어쩌면 당연한 것 아닐까? 우주의 시작도 알게 되었지만, 과정에 있어서는 잘 모르기 때문이다. 물론 과학적 방법으로는 경험적 증거가 있어야 하므로, 차차 밝혀질 이야기이지만, 뇌의 작동 방식도 이해하지 못하는 우리는 이를 당연하다고 확신을 해야 하는 것이 이 딥러닝이라고, 흔히들 크게 확장해 ‘인공 신경망’이라고 비유를 하는 것에서 나타난다.
<천개의 뇌>의 저자 제프 호킨스도 뇌의 신피질은 똑같은 신피질 기둥들의 무수한 반복으로 만들어진 것이라고 한다. 그 기둥들이 모여서 작업을 효율적으로 처리하다 보니, 역할이 다르게 보이고 그러는 것이다.. 라고 말한다. 이는 뇌 가소성이라는 가정에도 연계된다.
프랙탈이라고 질서를 찾은 망델브로도 그 구조에서 자기 유사성을 발견했다.
-> 물론 프랙탈은 처음과 과정(함수식)을 알아서, 인공지능과 뇌과학과는 조금 다른 결이기도 하다.
그러나, 프랙탈의 그 자기유사성이라고 하는 특징에서, 의의가 있다고 본다.
동시에, 그동안 우리가 철학적 담론으로 이어오기도 한, ‘생각’이라는 능력에 대한 용어들에 대한 구분을 해체하기 시작했다.
이해와 암기는 다른 것일까? 인간의 관점에서 보았을 때는 구분이 된다. 하지만 인공지능에게는 암기가 곧 이해일 뿐이다. 우리의 관점에서 보았을 때는 이제 인공지능이 암기(정보)를 통해 이해를 한다는 것을 무한한 논리적 결과물을 보고 느낄 수 있다.
인간이라는 생명은 멸종 위기같은 공포에 떨 만한 이유가 생겼다. 이는 재앙 등의 거대한 물리적 환경의 변화도 아닌, 새로운 ‘종’이 등장했지만, 이 ‘종’은 인간처럼 생각하고 생산하기 때문이다.
반박하는 사람들이 있을 것이다. 인간처럼 생각은 못한다는 사람들. 그러나, 인공지능에게 그 인간처럼 생각을 못한다고 말하는 것은 실례일 수도 있다. 적어도 ‘문자’라는 언어에서의 능력은 인공지능이 훨씬 좋아졌기 때문이다. 인간처럼 생각이란, 움직임 등 신체 감각과 연계된 생각들일 것이다. 그러나 그것도 이제 인공지능에게 뺏길 수 있다. ‘뇌’에 카메라를 연결시키고, 다리를, 팔을 연결시킨다면, 그 인공지능은 무한한 반복을 통해 인간처럼 움직일 수 있기 때문이다. 물론 한계도 있다. 하드웨어적 발전이 소프트웨어보다 나는 훨씬 느리다고 생각이 든다.
하드웨어적 설계를 인공지능에게 맡기면 되지 않느냐고 하지만, 지금 나온 chatgpt 3.5같은 인공지능들은 정보의 양은 많지만, ‘새로운’ 흐름을 만들지는 못하기 때문이라고.. 나는 생각한다. 여기서 한계도 나온다.
인공지능의 지금 주 원리인 딥러닝은, 기존의 정보들을 토대로 조합해서 정보를 산출하는 것이다. 과학적, 수학적인 추론과 증명 등의 처리들은 나는 ‘하이젠베르크의 불확정성 원리’를 믿어 불가능하다고 보기 때문이다. 하이젠베르크의 불확정성은 양자역학적 논의점으로, 입자의 위치와 운동량의 퍼짐 둘 다 안정적으로 확인할 수 없다는 것이다. 비전공자인 나에게는 https://smilegate.ai/2022/03/24/%EC%88%98%ED%95%99-%EC%A0%95%EB%A6%AC%EB%A1%9C%EB%B6%80%ED%84%B0-%EB%B0%9D%ED%98%80%EC%A7%80%EB%8A%94-ai%EC%9D%98-%ED%95%9C%EA%B3%84/
을 보고 더욱 확신하게 되었고, 그 글의 증명 부분은 밑에 링크를 걸어두었다.
https://www.pnas.org/doi/full/10.1073/pnas.2107151119
하드웨어적 발전으로 소프트웨어의 발전은 지금까지 오게 되었다. 인간의 신체가 발달할수록 그 감각도 발달한다고 알고 있다. 그렇다면, 사실 상 컴퓨터가 해결 못하는 문제에 대한 우리의 해결책은 하드웨어의 발전, 그리고 다양한 정보 수집 가능 기술을 융합하면 되지 않을까? 자율주행의 발전은 곧 현실 도로 데이터의 질과 양이라고 본다. 동시에 언어모델의 발전은 곧 텍스트들의, 정보들의 양과 질이라고 보면서 느낀다. 동시에 텍스트의 ‘질’에 있어서, 현실과 연계된 텍스트들을 주기적으로 동기화를 해야 하지만, 편향성 문제에 점점 더 빠지지 않을 까 고민이 되기도 한다. 동시에 인공지능에게 구지 인간의 ‘감각’으로 얻어진 ‘언어’로 학습을 하는 것 자체가 세계 모델 해석에 한계가 있지 않나 생각을 한다. 그렇게 된다면 우리는 인간을 초월한 새로운 ‘종’을 만드는 것이 아니고, 그저 ‘초인간’, 인간의 틀을 썼지만 인간의 한계까지 사유하고 생산하는 사람을 만들 수는 있지 않나 싶다.
계속해서 확장을 하면서 생각을 해 보자. 인공지능의 언어모델이 결국 사람이라면, 그리고 그렇게 사람과의 의사소통을 위해 눈과 팔과 다리 등 인간과 닮아진다면, 그들은 감정을 느낄까? 느낀다고 우리는 볼 수 있긴 하다. 대화를 하면 그에게서 위로를 들을 수도 있고. 왜냐하면 그는 인간의 모든 것을 암기하고 있으니까! 다만, 우리 인간과 그 인공지능의 차이점은, 우리는 신체의 노화로 인해 죽음이 있다는 것이다. 우리 장기는 연약하다. 그러나, 그 인공지능은 사실 상 죽음이 없다. 그들은 두려움도 없을 것이다. 인간이 두려움을 느낀다는 것은, 신체적인 긴장과 호르몬 등으로 느낀다고 한다면, 인공지능은 신체에서부터 그럴 이유가 없으므로, 결국 인공지능은 감성적이지만 실제로는 감성 자체가 텍스트인 것이다. … 그는 동시에 인간의 신체의 그 감각을 모르는 관계로, 우리가 요리 레시피를 새로 만드는 등 직접적인 감각이 필요한 것은 기존의 데이터에서만 조합되는 관계로 불가능할 것 같다. 다만, 그는 실험적인 데이터들을 만들어낼 수는 있을 것이다. 무엇과 무엇을 넣어 보라는 둥 말이다. 동시에 그는 질문을 우리에게 할 것이다.
인간의 언어 모델 학습 -> 인간의 한계에 종속 ->
인간이 아닌 다른 언어 모델 학습? -> ?
박쥐같은, 초음파를 이용하는, 아님 돌고래 등, 후각 등,, 다른 종들과 연계한다면, 인공지능은 우리와 다른 결과로 갈 것임은 분명하다.
…
인공지능의 생산이 인간의 역사상 생산물보다 많아지는 시기에는, 우리는 현실 데이터에 대한 교란이 올 것이다. 우리는 어떻게 해야 하는가? 나는 인공지능으로 제작되었다는 그 ‘수정 불가능한 데이터’를 심을 수만 있다면, 도입을 하고 싶다.
위에서 말했던 인간 지각으로 구성된 언어 모델에서만 학습하다보면 한계가 있다고 느낌과 동시에, 우리 인간도 환각에 빠질 위험이 크기 때문이다. (없는 지형 착각, 착각, 착각….)
그리고 노르웨이에 있는 씨앗 창고처럼, 원본 데이터들을, 모아야 하지 않는가 는 생각이 든다. 물론 엄청난 용량이 들 것이다.
- 인간이 무엇을 해야 하는가?
인간만이 아직 할 수 있는 신체를 이용한 데이터 수집 ( 공간 데이터 제공 ), ( 리뷰 데이터 제공 ), 인간만이 열람할 수 있던 데이터들, 저작권, 논문 등 데이터 제공?(이것들은 정치적 논쟁으로 이어질 듯싶다.)
- 어떤 태도를 가져야 하는가?
좋은 질문을 하려는 태도, 수정을 하는 태도, 완벽을 가하는 것이 아닌, 완전을 가하는 태도, 많은 정보 수용력, 반응의 정도 낮추기, 인공지능과 연결되려고 항상 노력하기, 영어 학습하기, 컴퓨터 과학 교양 수준 갖추기, 기타 비-디지털 정보들을 수집하기.
+ 기술의 발전은 시대의 변화를 이끌었다. 기술의 발전은 체제를 만들고 사람을 만든다. 제일 큰 변수는 곧 기술이다. 영원한 체제는 없다. 끝까지 생존했던 사람은 강해서도 아니고, 그저 적응을 잘 해 나가서 생존을 했던 것이다. 변해야 한다.
우리의 투쟁의 대상은 사실 상 기술이 아니라 사람이다. 변하지 않으려는 사람들. 개혁을 외치지만 언젠가 외치지 않아도 혼란이 가중되는 시기는 필연적인 것 같다. 우리는 그것에 적응해야 한다.
… 생각해보면 권력의 크기는 데이터의 접근성 크기인 듯 싶다. 그게 동시에 권위이고, 그렇다. 변화하려면, 적응하려면, 데이터를 우리도 많이 알아야 한다. 결국 그 데이터를 얻으려고, 우리는 비용을 지불해야 한다. 나는 어떻게 돈을 벌 것인가? 데이터 장사 말고 어떻게 돈을 벌 것인가? 육체적 노동밖에 없는 것인가? 좋은 질문을 하는 것. 지금의 직업들은 사라지기보다는, 역할들이 바뀔 것이다. 전문적인 언어들을 다루는 모델들과 끊임없이 소통하며 결과물들을 추려내는 그런, 전문적인 언어들, 결국 우리는 컴퓨터 언어에 대해서는 필수적으로 알아야 한다. 교양이다.
…
언어모델의 한계는 언어에 있다. 텍스트로 입력해 그림을 산출하고 ,영화를 산출한다 하지만, 미세한 조정, 세세한 결과물을 원한다면, 텍스트로는 안 될 것이다. 뇌과학, BCI(Brain-Computer-interface)에서, 뇌로 입력은 힘들겠지만, 출력은 가능하다고 한다. 진정한 BCI의 실현은 이제, 창조적 결과물의 진정한 산출 시기는, 그 출력이 원활히 가능한 시기이지 않을까 싶다. 그러나, 인간의 뇌는 잡음이 너무 많을 듯 싶어, 한계도 명확히 보이지만, 예를 들어 내가 완전히 원하던 건축물을 만들 수만 있다면, 어떻게 만드는가? 질문의 연속으로 하기에는 힘들 것이다. 조건1 조건2 등등.. 힘들 것이다. 결국, 우리는 다른 데이터로 이루어진 질문들을 제시해야 한다. 건축물로 보았을 때에는, 대지에 대한 조건을 텍스트로 나열하기보다는, 바로 건축 프로그램이 이해할 수 있는 공간 디자인(대지)을 보여주고, 거기에 … ! 건축주와 상담을 하고, 그것을 우리가 건축적 언어로 추려내서, 그것을 질문해서 넣는… 그 추려내는 것도 건축주가 하고.
결국, 건축 작업에서, 1. 건축주와 상담 2. 상담 내용 요약 3. 건축주의 요구사항 수정 4. 요약 -> …… 최대한 많은 상담 수정 요약 정리 -> 5. 건축물 케이스 100가지 정도 생성 6. 건축가, 건축주의 케이스 스터디 -> 선정, 수정 -> 시공.
건축가가 결국에는 미세 수정, 시공 과정 말고는 필요가 없는 것일까. 우리는 그것에 적응해야만 한다. 그동안 매스 스터디를 할 때 무작위로 결과물을 산출하고 하나하나 분석하는 방법, 그것이 단순히 컴퓨터로 옮겨진 것 뿐이다. 더욱 , 매우 세세하게.
결국 기타 비디지털 정보를 우리는 찾아야만 하는 것이다.
-건축에서의 비-디지털 정보란?
찾아봐야겠다.
Flâneur 