AI 갓파더 얀 르쿤의 AI, LLM에 대한 인터뷰내용

https://t.co/CIU4E5NLC8

LeCun은 AI 업계에서 가장 저명한 과학자 중 한 명이며 ChatGPT와 같은 AI 챗봇이 사용하는 기본 기술의 기능을 과장하는 사람들을 노골적으로 비판해 왔습니다.

Barron’s: ChatGPT와 대규모 언어 모델(LLM)의 기술이 어떻게 작동하는지 설명해 주시겠습니까?

LeCun: 초강력 예측 키보드라고 생각하시면 됩니다. 대규모 언어 모델은 먼저 엄청난 양의 단어에 대해 학습됩니다. 모델에게 단어를 보여주고 다음 단어가 무엇인지 묻습니다. 다음 단어를 예측하고 단어를 주입한 다음, 다음 단어가 무엇인지 스스로에게 물어볼 것입니다.

Barron’s: 어떤 모델에 적합하고 어떤 모델에 적합하지 않은가요?

글쓰기 도우미로 사용하는것이 유용합니다. 문법적으로 올바른 스타일로 문장을 구성하는 데 도움이 될 수 있습니다. 하지만 사실적인 질문에 답하는 것은? 그다지 좋지 않습니다. 모델은 메모리에 저장된 내용을 역추적하거나 학습 데이터에서 읽은 다양한 내용을 혼합하거나 보간한 대략적인 내용을 역추적합니다. 즉, 사실과 다르거나 그럴듯하게 들리도록 만들어낸 것일 수 있습니다.

Barron’s: AI 챗봇이 때때로 정확도에 큰 문제를 일으키는 이유는 무엇일까요?

이와 같이 기본적으로 한 단어씩 예측하는 시스템은 학습한 통계와 주어진 프롬프트에 따라 결과가 달라지기 때문에 제어하거나 조정하기 어렵습니다. 수학적으로는 정답의 경로에서 기하급수적으로 벗어날 가능성이 높습니다. 생성되는 답변이 길어질수록 완전한 쓰레기를 생성할 가능성이 높아집니다.

Barron’s: AI 개발 6개월 중단을 요청하는 서한에 왜 그렇게 반대하시나요?

저는 AI가 강력한 기술이며 책임감 있고 안전하게 배포되고 개발되어야 한다는 데 동의합니다. 하지만 6개월 동안 연구 개발을 중단하는 것이 정답은 아니라고 생각합니다. 이는 전혀 도움이 되지 않습니다. 어차피 아무도 그렇게 하지 않을 것이기 때문에 순진한 생각이기도 합니다.

이 서한에 서명한 사람들의 주장을 카테고리별로 살펴봅시다. 첫 번째는 가장 끔찍한 주장인 진짜 종말론자입니다. 그들은 우리가 궁극적으로 인간만큼 똑똑한 기계를 만드는 길에 있다고 말합니다. 그리고 그렇게 되면 인류는 파멸할 것이라고 주장합니다.

저는 터무니없이 어리석은 생각이라고 생각합니다. 그리고 확실히 잘못된 생각입니다. 인공지능 시스템을 쉽게 제어할 수 없을 것이라는 생각에 근거하고 있습니다. 인간의 가치에 부합하는 목표를 세우는 것은 매우 어려울 것입니다. 우리는 목표를 설계하여 엔티티가 올바르게 행동하도록 할 수 있습니다.

두 번째 범주는 즉각적인 피해를 우려하는 사람들입니다. LLM을 사용하면 말도 안 되는 잘못된 정보를 생산할 수 있습니다. 일부 사람들은 오해의 소지가 있고 세뇌를 유발할 수 있는 기계 생성 콘텐츠가 인터넷에 넘쳐날 것을 우려합니다. 이런 시나리오는 이미 존재하기 때문에 저는 믿지 않습니다. 사람들은 회복력이 강하고 새로운 미디어를 다루는 법을 배웁니다.

세 번째 범주의 사람들은 소수의 기술 회사에서 생산되는 AI 시스템의 사회적 영향에 대해 걱정합니다. 저는 동의하지 않습니다. 저는 메타에서 일하며 내부에서 그들의 동기가 무엇인지 잘 알고 있기 때문입니다.

Barron’s: OpenAI의 기술은 구글, 메타 및 기타 스타트업의 AI 기술과 어떻게 비교되나요?

OpenAI는 이러한 대규모 시스템을 훈련하고 사용자들의 피드백을 통해 미세 조정하는 과정을 남들보다 일찍 시작했기 때문에 조금 더 앞서나가는 것처럼 보입니다. 하지만 ChatGPT나 GPT4가 대중에게 공개되었다는 사실 외에는 놀랍거나 초비밀스러운 것은 없습니다.

자연어 이해는 새로운 기술이 아닙니다. 동일한 기술입니다. 트랜스포머 모델의 전체 아이디어는 구글에서 나왔습니다. 메타, [알파벳의] 구글, 그리고 스타트업에서 이 기술을 연구하기 시작한 많은 사람들이 있습니다. 이러한 기술을 구축하는 방법을 아는 수백 명의 과학자와 엔지니어가 있습니다.

구글과 메타에서 유사한 시스템을 이전에 보지 못한 이유는 대기업이 완전히 신뢰할 수 없고 말도 안 되는 시스템을 내놓는다는 것은 평판에 더 큰 위험이 있기 때문입니다.

Barron’s: 기계가 스스로 학습하고 생각할 수 있는 AGI, 즉 인공 일반 지능에 가까워지고 있을까요?

이러한 LLM 시스템을 확장하면 인간 수준의 지능에 도달할 수 있다는 주장이 있습니다. 이에 대한 제 의견은 완전히 틀렸다는 것입니다. 아직 우리가 기계로 재현하는 방법을 알지 못하는 많은 것들, 즉 일부 사람들이 AGI라고 부르는 것들이 있습니다.

ChatGPT나 GPT4와 같은 기술을 사용하여 로봇에게 테이블을 치우거나 식기세척기를 채우도록 훈련시킬 수는 없을 것입니다. 아이에게는 사소한 일이지만요. 우리는 여전히 할 수 없습니다. 아직 레벨 5의 완전 자율 주행은 불가능합니다. 이를 위해서는 텍스트를 읽는 것으로는 배울 수 없는 완전히 다른 기술이 필요합니다.

Barron’s: 언제 가능하나요?

향후 5년 동안 상당한 진전을 이룰 것입니다. 하지만 인간 수준의 지능에는 도달하지 못할 것 같습니다. 훨씬 더 오래 걸릴 것입니다. 이런 예측이 있을 때마다 우리는 그 복잡성을 과소평가해 왔습니다.