В Твиттере обсуждают осознание своего "математического потолка"
(мы обсуждали это не так давно в связи с длинной цитатой из Хофштадтера). Чарльз Мюррей, известный политолог и автор скандальной книги про IQ, пишет (в переводе):

Большинство студентов элитных университетов, изучающих нетехнические специальности, понятия не имеют, что такое настоящие интеллектуальные нагрузки. Они умны в словах. Быть умным в математике — совсем другое дело. Я хотел бы, чтобы все они получили тот опыт, который получил я в аспирантуре MIT, когда мне пришлось осознать, насколько я туп в высшей математике. Унижение может пойти на пользу.

Несколько комментариев, которые мне показались интересными:

>Студенты физико-математических специальностей иногда сидят за столом, пытаясь решить вместе домашнее задание, и осознают, что понятия не имеют, с чего вообще начать. Как много студентов нетехнических специальностей регулярно получают такой опыт?

>Да. Я с лёгкостью прошёл матанализ, линейную алгебру и дифференциальные уравнения, а потом взял курс по действительному анализу (Real Analysis), и это было так, будто я спокойно ехал по шоссе на скорости 80 миль в час, а потом врезался в ударопоглощающий барьер, который мгновенно затормозил меня до 5 миль в час, оставив мой мозг серьёзно сотрясённым.

>Получение технической степени в хорошем университете было самым отрезвляющим опытом в моей жизни.

Умер философ Джон Серль (Серл, Сёрл, пишут по-разному). Главное, чем он был знаменит, это философский мысленный эксперимент "Китайская комната". Представьте себе, что вы смогли сделать компьютерную программу, которая умеет по-настоящему, как человек, общаться на китайском языке. Серль говорит: представим себе, что все инструкции программы записаны на миллионах маленьких листков бумаги, разложенных на сотнях полок в большой комнате, а внутри комнаты сидите вы. В окошко вползает новая фраза по-китайски, на которую надо ответить. Листочки дают вам указания, что делать с ее символами: может, записать каких-то других листочках, сравнить с чем-то, если такой-то символ, то сделать то-то, и так далее и так далее и так миллион раз. В итоге вы, механически следуя указаниям на листочках, и не зная ни китайских иероглифов, ни самого языка, записываете на последнем листочке ответ по-китайски и выталкиваете его наружу. Это "китайская комната". Очевидно, что сами механические действия не помогли вам выучить китайский язык и понять фразу на нем, вы как не понимали его, так и не понимаете. Следовательно, говорит Серль, настоящий компьютер, который делает то же самое, даже если он выдаст фразу на китайском, все равно не понимает китайский язык, потому что компьютер это просто вид китайской комнаты.

"Китайская комната" - довольно интересный пример аргумента, который в довольно широких кругах ценится за то, что считается неверным. Большая часть философов и исследователей искусственного интеллекта, которых я уважаю, относятся к "китайской комнате" как к почти очевидному софизму, путанице в терминах, которая не доказывает ничего про гипотетические ограничения искусственного интеллекта (как считал Серль), но полезна тем, что предельно ясно формулирует определенную "ловушку" в мышлении. То и дело про какой-то другой аргумент читаешь "на самом деле это всего лишь вид аргумента китайской комнаты, и вот почему". Я тоже так считал, и тем не менее из уважения к покойному решил пойти и прочитать статью в Стэнфордской философской энциклопедии про китайскую комнату: https://plato.stanford.edu/entries/chinese-room/

Эта статья очень хорошо написана, и я рад, что ее прочитал, и советую всем, кто хочет приобрести несколько менее поверхностные знания о "китайской комнате". В частности, меня обрадовал тот факт, что очевидное с моей точки зрения возражение Серлю (так называемый "системный ответ": что понимание китайского существует и спрятано в сложности всей системы, объединяющей листки и выполняющего программу агента, и что это не более удивительно, чем то, что обычное понимание китайского спрятано в сложности всей системы нейронов мозга) было очевидно не только мне, но и самому Серлю, и что у него был какой-никакой ответ на него, еще даже в первоначальной статье 1980 года. Этот ответ - что человек может гипотетически запомнить всю программу, выйти из комнаты на улицу (не выходи из комнаты -- не совершай ошибку--), неся ее в голове, и все равно у него не будет никакого понимания - не то чтобы меня переубеждает, но заставил подумать. В статье в энциклопедии это описано подробно и исключительно ясно, если вам это интересно, еще раз повторю рекомендацию прочитать. В целом у меня сохранилось отношение к К.К. как к примеру определенного вида софизма, но с более трезвой оценкой того, что если присмотреться внимательнее, то там "все сложно" (как обычно бывает в философии сознания/мышления) и есть небезынтересные аргументы с обеих сторон.

Другая важная сторона вопроса о китайской комнате - это почему это вообще важно. Предположим, у компьютера, общающегося с вами по-китайски, нет "понимания" китайского языка; почему это вас должно беспокоить, если он нормально общается? Почему это вообще не бессмысленный вопрос? Он был таковым, по-видимому, для Тьюринга - ведь знаменитый тест Тьюринга для проверки искусственного интеллекта как раз основан на том, что мы сравниваем ответы компьютера и человека, общаясь с обоими как с "черными ящиками" - как с агентом внутри китайской комнаты, посредством листков через окошки - специально отказываясь строить теории о том, что там у них внутри, "понимание" или нет. Для Серля его аргумент был следующим шагом после теста Тьюринга, шагом, демонстрирующим недостаточность теста Тьюринга. Компьютер, с точки зрения Серля, может только манипулировать символами, а у человека есть "семантика", настоящее понимание, и китайская комната демонстрирует эту разницу так, что это очевидно нашей интуиции. Но эта разница, для Серля, не заключалась только в схоластическом заявлении "нет настоящего понимания!", у нее есть реальные последствия. То, что человек внутри китайской комнаты не понимает китайский, имеет последствия в реальном мире. Он может, с помощью листков, ответить на любые вопросы по-китайски, но если показать ему гамбургер и спросить, как это будет по-китайски, он не сможет ответить (а человек с "пониманием" китайского сможет!). В этом для Серля была существенная разница. Настоящая семантика рано или поздно сыграет свою роль, она неизбежным образом богаче и вернее, чем чистый синтаксис, чем чистая - пустая - манипуляция символами.

Серль дожил до компьютеров, умеющих без проблем отвечать на китайском (или любом другом языке), но я не знаю, писал ли он под конец жизни что-то об LLMах и их связи с китайской комнатой. Можно представить себе Серля (допустим для простоты, что он знает китайский язык), общающегося с ChatGPT на китайском, но потом заявляющего, что он все равно не знает, как будет "гамбургер" по-китайски - ведь он понимает только текст, символы, если ему написать "гамбургер" на другом языке, то это слишком сильная подсказка. Но потом OpenAI выпускает новую версию ChatGPT, которая умеет понимать картинки, и если показать камере лаптопа гамбургер, то ChatGPT легко напишет - на китайском, если угодно, - что это такое. Как это случилось, ведь настоящая семантика и все такое? "Настоящая семантика", которая у человека возникает в голове при виде зрительного образа гамбургера, перешла в символы - набор пикселей компьютерной картинки, нейронную сетку, переводящую картинки в слова, а слова ChatGPT знает и умеет отвечать. Серль может отступить на этом фронте и сказать "все равно нет понимания, машина не может осязать гамбургер или ощущать его вкус". Но добавляя в будущем новые сенсоры, мы научим нейронные сети вести себя так, будто они все это понимают, и это возвращает нас к вопросу о том, где тут фундаментальная разница с тем, как мозг обрабатывает зрительные, осязательные итд. символы, и не является ли эта "настоящая семантика" фантомом, самообманом?