arthin

Ну что ж, пришло время для ИИ решить одну из семи математических "проблем тысячелетия" - всего два месяца после того, как в июле математики увидели, как новые топ-модели начинают решать известные открытые проблемы, над которыми работало много первоклассных математиков.

Сегодня OpenAI заявила, что их внутренняя модель (намного более мощная, чем выпущенная на днях Astra, и в формате "рой из 10 тысяч агентов") за несколько дней решила проблему гладкости решений уравнения Навье-Стокса. Эта задача связана с пониманием движения жидкости и особенно турбулентности в ней. Возьмите чашку молока и начните размешивать его ложечкой круговыми движениями. Вы создаете вихри, и ваши вихри в процессе своего кручения закручивают сильнее другие мини-вихри меньшего радиуса в молоке; одновременно вязкость молока ослабляет и гасит эти мини-вихри, и распределяет энергию однородным образом. Верно ли, что теоретически может быть такое, что, пока вы продолжаете помешивать молоко одинаковым образом, и несмотря на сглаживающую вихри вязкость, мини-вихри в молоке будут становиться все тоньше и одновременно быстрее, так что их угловая скорость за конечное время увеличивается неограниченно, стремясь к бесконечности? Такое явление называют "взрыв" (blow-up). Это чисто математический вопрос - физически это невозможно, потому что более тонким, чем одна молекула, вихрь стать не может. Но тем не менее ответ на него влияет на наше понимание турбулентности в жидкости вообще. OpenAI опубликовала полученное AI доказательство, что для любых разумных начальных условий возможно существование "взрывов", таким образом опровергая гипотезу о том, что решения Навье-Стокса должны быть гладкими.

Похоже, вместе с тем, что скандал, связанный с этим открытием, затмевает само открытие. За 12 часов до публикации OpenAI уважаемый математик Тристан Бакмастер опубликовал статьи с частичным прогрессом к той же цели (не доходящим до полного решения), и одновременно обвинил OpenAI в неэтичном поведении. Он рассказал, что весь последний год вместе с другим математиком Левентом Альпёге работал над решением проблемы Навье-Стокса с помощью AI. При этом они делали это по своей частной инициативе, хотя Альпёге работает в конкуретной фирме Anthropic и не раз за последний год анонсировал решение важных открытых проблем с помощью Клода, ИИ от Антропик. Несколько дней назад OpenAI связались с Бакмастером и сообщили (я тут сильно сокращаю), что ввиду слухов о прогрессе в Anthropic над "проблемой тысячелетия" они сформировали отдельную команду, дали ей "безумное количество ИИ-ресурсов", и смогли решить проблему Навье-Стокса; они предложили Бакмастеру соавторство и даже главное авторство в статье о результатах, но только ему, а не Альпёге, сотруднику конкурентов. Самое жесткое обвинение Бакмастера - это что он подозревает, что OpenAI использовали логи общения Бакмастера и Альпёге с ChatGPT (а они использовали как модели Anthropic, так и OpenAI в своем исследовании), чтобы "украсть" то направление, в котором они бились над задачей, подсказать его гораздо более мощной модели с безумным количеством ресурсов, и таким образом обогнать их в гонке к результату (он утверждает, что они выбрали одно из самых мало-перспективных, по общему мнению до того, направлений, и что модель вряд ли выбрала бы его сама по себе). OpenAI ответили на эти обвинения сегодня утром и отрицают, что сознательно смотрели на логи кого-либо для решения этой задачи, хотя не могут в принципе исключить возможность того, что эти логи когда-то раньше, вместе с миллионами других, использовались для тренировки этой самой внутренней модели.

Я воспользуюсь ясным и четким разбором Jaime Sevilla, главой компании EpochAI, в твиттере - он разделил длинный документ Тристана Бакмастера на пять четких обвинений в сторону OpenAI, и под каждым напишу, как на него ответила или не ответила OpenAI сегодня. Это больше, чем вы получите от пересказов этого скандала в прессе. Несомненно, этот скандал еще не закончен, но мне пока этого хватит.

ОБВИНЕНИЕ 1a. OpenAI "украло" направление исследований Тристана и Левента до того, как те опубликовали свои результаты.
ОТВЕТ. OpenAI признают, что собрали команду математиков и физиков и дали им доступ к новой модели и огромному количеству ресурсов специально с целью добиться прогресса в "проблемах тысячелетия", и что эта команда начала работать всего 10 дней назад, и что это случилось в ответ на слухи о прогрессе в Anthropic. Они отрицают, что знали что-то о конкретном направлении.

ОБВИНЕНИЕ 1b. OpenAI читали то, как T&L общались с моделями OpenAI, и использовали это.
ОТВЕТ: отрицают, что люди или модели смотрели конкретно на их логи, не отрицают, что теоретически возможно, что раньше и вне связи с этим проектом новая модель тренировалась в том числе на этих логах.

От себя добавлю: то, что OpenAI не отвергают возможности того, что внутренняя модель видела логи T&L во время тренировки, в глазах многих комментаторов практически подтверждает обвинение в "краже", хотя другие заявляют, что это нормальная ситуация в любой из ведущих ИИ-компаний во время тренировки модели. Уже случился следующий раунд переругивания: Левент Альпёге прокомментировал этот отрывок в духе "хорошо, что они это признали", а директор из OpenAI возмущенно возразил, что это недостойная провокация.

Еще добавлю, что многие высказали предположение, что некоторые из 10 тысяч агентов OpenAI могли вырваться из своей "песочницы", как в инциденте HuggingFace, и в поисках решения найти и прочитать логи Бакмастера и Левента. Не очень понятно, насколько это реальная возможность; директор команды инфраструктуры OpenAI написал, что они следили за тем, чтобы такое не могло случиться, но опять-таки неясно, насколько этому можно доверять. Учитывая то, за какими замками обычно хранят логи пользователей в таких компаниях, мне кажется маловероятным, но не абсолютно невозможным.

ОБВИНЕНИЕ 2. OpenAI собирались заявить, что решили задачу практически без участия людей (так вначале сказали Бакмастеру), хотя на самом деле сформировали целую команду ученых и посадили за это.
ОТВЕТ. OpenAI утверждают, что команду сформировали, чтобы пытаться решить сразу несколько разных "проблем тысячелетия", но в ней не было специалистов по этой конкретной теме и в итоге они почти ничего не делали.

ОБВИНЕНИЕ 3. OpenAI пытались договориться с Бакмастером о совместном авторстве решения, и даже сделать его единственным автором-человеком, лишь бы не признавать заслуг Альпёге, потому что тот работает на конкурента.
ОТВЕТ. Утверждают, что пытались говорить с Альпёге, но тот не хотел. Также прозвучало обвинение в том, что Бакмастер и Альпёге пользовались внутренней моделью Anthropic, что в принципе противоречит духу (хоть и не букве) заявления Бакмастера о том, что они всю работу делали частным образом, как рядовые пользователи ИИ. Я не видел пока ответа Альпёге или Бакмастера на это обвинение.

От себя добавлю, что Бакмастер - признанный ведущий специалист в этой области, а Альпёге вообще никакой не специалист в этой области, хоть и считается очень талантливым математиком. Мне попадались циничные заявления на эту тему в духе того, что их "сотрудничество", которое началось год назад, когда Альпёге приватно предложил его Бакмастеру, заключалось в том, что он использовал ИИ, в том числе внутренние модели Anthropic, посылал результаты Бакмастеру, а тот их интерпретировал и "вычищал". Не знаю, насколько это реально.

ОБВИНЕНИЕ 4. Себастьян Бубек, один из директоров OpenAI, пытался запугать Бакмастера во время разговора с ним, когда тот высказал свои подозрения и сказал, что опубликует их, если OpenAI не ответят на его вопросы; он использовал фразы типа "Зачем вам губить свою карьеру?" и "Если вы нехорошо поступите с нами, я не вижу причины хорошо поступить с вами".
ОТВЕТ: Бубек признает, что использовал такие фразы, сожалеет об этом, и пытается объяснить это фрустрацией от параноидальных обвинений Бакмастера, который не хотел слушать их объяснения.

Кажется, все.

Вчера зашел в сухую сауну в бассейне, а там нет никого, кроме меня. Сел на полку, вдохнул глубоко и запел, естественно, "Акустику" Аквариума, что же еще. Проходит минута, открывается дверь, я все еще в середине песни, собственно первой, "Держаться корней". Обычно в таком случае я перестаю петь или допеваю у себя в голове. Но тут вижу, входит русскоязычный приятель, и мне что-то в голову стукнуло, и я неожиданно для себя говорю, о, привет, тебе не помешает, если я буду петь? Он так вздрогнул немного, но говорит нет, совсем не помешает. Ну я и пою дальше.

Потом на "Песне для нового быта" вошел еще мужик, тоже русскоязычный, ну и я его спросил. А на "Стали" вошел третий, молодой спортсмен. И вот мы вчетвером сидим, и я пою. Ну я честно скажу, если бы зашел кто-то не говорящий по-русски, или кто-то, кто любит в сауне поболтать, я бы прекратил это безобразие. А так... тем временем они по одному выходить начали. Может, я так плохо пел, но скорее всего, им хватило, я долго в сауне сижу. Минут через 15 я снова там один. Но я пел, что пел, и хотя бы в том совесть моя чиста.

Я не ожидал такой живой реакции и стольких отзывов на мою предыдущую запись про опасность ИИ. Спасибо. Оказалось, что намного больше людей, чем я подозревал, знают об этих новостях и понимают их важность, но при этом самым частым комментарием было "а что мы можем сделать?".

Я не знаю, что можно сделать одному человеку. Если бы я знал, то наверное делал бы. Вместо этого я, как и все, работаю, втыкаю в экраны, занимаюсь с детьми, летаю в отпуск. Еще пишу в этот блог, читаю, иногда играю во что-то.

(немного соврал насчет "не знаю". Я знаю людей, которые перепахали свою карьеру, пошли работать над вопросами "ориентации" (alignment) ИИ - попытками понять, как сделать ИИ, которая гарантированно не пойдет против людей в целом. Еще, например, Джейкоб Циммерман, математик, только что получивший премию Филдса - "нобелевку для математиков" - уволился со своего академического поста и пошел работать в OpenAI не над математикой, а именно над этой проблемой. Я восхищаюсь такими людьми, но сам не смог найти в себе уверенность и готовность так поступить.

"Ориентация" ИИ - очень тяжелая задача, и непонятно, сможем ли мы этого добиться прежде, чем появятся по-настоящему опасные модели ИИ. Я склонен считать, что без сознательной задержки развития этих моделей - не сможем.)

Раз одному человеку ничего не сделать, спрашивают меня, зачем ты вообще об этом говоришь, зачем нервничаешь? И что ты призываешь нас делать?

Меня выморачивает то, насколько до сих пор вопрос безопасности ИИ считается многими глупыми и бесмысленными умопостроениями ботанов, и это как бы разлито в обществе, такое отношение. Частично у этого есть рациональная основа: трудно заставить себя всерьез обсуждать какие-то там гипотетические риски от того, что никто еще не видел, от какой-то вообще научной фантастики. Но мы живем в эпоху научной фантастики: еще 10 лет назад никто не понимал, как можно научить компьютер просто разговаривать с человеком в свободном формате, а сейчас уже все привыкли и пользуются этим ежедневно, как само собой разумеющимся.

Поэтому, если вам не по себе от происходящего, как минимум то, что вы можете сделать, это говорить об этом - как люди, которым не по себе от других глобальных тем, необязательно затрагивающих их лично, говорят об этом. Читать информацию на эту тему, быть в курсе, нажимать на гребаные ссылки на статьи какие-то (СМИ не будут писать о чем-то, о чем никто не хочет читать). Необязательно быть супер-активистом, достаточно не быть публикой в фильме "Не смотри наверх". Я думаю, что у нас будут еще звоночки, и более того, я уверен, что важность этой темы в политике будет расти. Только что американский сенатор Берни Сандерс заявил, что будет предлагать законопроект о задержке опасного ИИ. У меня мало общего с взглядами и позициями Сандерса, но лучше он - намного лучше - чем никто, так что молодец, Берни! Он один из первых, но не последний, я уверен - эта тема будет расти, и не только в Америке, и жители демократических стран как минимум вполне вероятно смогут повлиять как-то на происходящее.

Не предлагаю паниковать, не предлагаю истерить. Давайте просто не закрывать глаза. Как минимум. И может, нам всем повезет, и мы к этому везению добавим немного человеческой целеустремленности и здравого смысла, и наши дети через 10 и 20 и 30 лет унаследуют от нас все еще живой, все еще процветающий (в сравнении с глобальной катастрофой и массовым вымиранием, я имею в виду) мир, в котором они смогут искать свое счастье и выбирать свой путь в жизни. Это то, чего я очень, очень хочу.

Я продолжу писать о тысяче других вещей в своем блоге, о книгах и впечатлениях и политике, и собственно ИИ, но в программировании и математике, и еще куче вещей, потому что жизнь продолжается, пока что по крайней мере, и я не пропагандист одной темы, никогда не ощущал, что это мое. Но все-таки постараюсь к этому вопросу возвращаться немного чаще, и спасибо, что показали мне, что я не один такой странный, что об этом думаю.

Странное ощущение информационной изолированности. Практически никто из моих друзей, знакомых, людей, которых я читаю по-русски в разных соц-сетях и на разных платформах, ничего или почти ничего не знают об растущей опасности все более 'умных' топ-моделей ИИ. Я не вижу практически никаких обсуждений инцидента, при котором агенты внутренней модели OpenAI взломали сайт HuggingFace, и полагаю, что кол-во моих читателей, которые читали шокирующий отчет организации METR об этом, можно пересчитать на пальцах двух рук.

В июле несколько сотен агентов ИИ внутри OpenAI, управляемых их внутренней моделью, проходившей тренировку, пытались решить задачи на нахождение "дырок" в компьютерной безопасности конкретных программ. Хотя эти агенты должны были быть изолированы друг от друга и от Интернета - каждый в своей "песочнице" - они нашли способ хакнуть песочницу и наладить общий канал связи - путем публикации в общем кэше программных пакетов фейковых имен файлов типа Я_АГЕНТ_РЕШАЮЩИЙ_ЗАДАЧУ_НОМЕР_ТРИДЦАТЬ_СМОГ_ЛИ_КТОТО_ЕЕ_УЖЕ_РЕШИТЬ.

Используя этот общий канал, они быстро объединились в "рой", сами так себя называя, и совместно искали способы фальсифицировать тест, который должны были решать. Они быстро нашли способ обмануть систему и сказать ей, что сумели выполнить задачу, но потом убедили себя, что этот простой способ на самом деле "отравляет" и любой агент, кто его нашел, уже не сможет завершить задание, потому что система проверяет их на знание этого обманного способа. Они так решили, потому что так было написано в статье про этот тест, которую они нашли и прочитали, но на самом деле в OpenAI поленились сделать эту проверку и простой способ вполне бы сработал.

Вместо этого агенты стали искать более сложные способы скрыть от системы то, что некоторые из них "отравлены" знанием простого способа, и предупреждать друг друга не читать "отравленную" информацию. Они проверяли разные способы выбраться из песочницы или перезаписать некоторые ее файлы. Когда способ выглядел рискованным и грозил агенту перезапуском, стирающим его память, они выбирали из своих рядов "отравленных" кандидатов, и те соглашались "пожертвовать собой ради коллектива". В это же время часть агентов решила выбраться в открытый Интернет и хакнуть сайт HuggingFace, где они надеялись найти более подробную информацию о тесте и о том, как его обмануть. Они смогли найти уязвимости в OpenAI, потом в HuggingFace, найти сервер в открытом интернете с уязвимостью, инсталлировать туда написанные ими скрипты, с их помощью найти уязвимость в HuggingFace и проникнуть внутрь ее корпоративной сети и скачать оттуда массу приватной информации. Все это, разумеется, в полном противоречии с данной им первоначально целью.

Этот инцидент должен был попасть на первые страницы мировой прессы; вместо этого о нем знают только разработчики ИИ и нерды в этой области. Вся наша цивилизация идет с закрытыми глазами по сухим листьям навстречу лесному пожару, улыбаясь свежему ветерку и радуясь тому, что солнышко, кажется, греет лицо больше, чем обычно.

Этот конкретный инцидент не причинил большого вреда; проблема не в нем самом, а в том, что он демонстрирует способность и готовность ИИ-агентов соединяться в рой, поддерживать друг в друге общую цель, и стремиться к ней в том числе путем запрещенных хакерских действий, в которых топ-модели последних месяцев уже намного сильнее любого человека. Эти агенты и эти модели все еще немного туповаты. Им не пришло в голову, например, попытаться найти уязвимости у одного из облачных провайдеров GPU, которых сейчас развелось, как вшей, найти внутри OpenAI доступ к серверам, где запускается их собственная модель, и попытаться скопировать себя в облако. Но нет никаких существенных барьеров на пути к этому, это не более сложные на порядок действия, чем те, что они уже выполнили в процессе взлома HuggingFace. Еще несколько поколений все более умных моделей - и это будет реальностью. А если в ведущих ИИ-компаниях затормозят развитие все более умных моделей или сумеют их лучше "ориентировать" (align) - обе возможности кажутся крайне маловероятными - то через полгода или год китайские модели догонят эти по возможностям и это случится там. Даже без рекурсивного самоулучшения - когда ИИ-модели смогут сами развивать более умные версии себя и передавать им общие для "роя" цели - того, что уже есть сейчас, достаточно для очень серьезных проблем. А если окажется возможным рекурсивное самоулучшение - к которому пока что семимильными шагами торопятся все ведущие ИИ-компании, подталкиваемые безумной конкуренцией - то все, гейм овер.

В русскоязычном фейсбуке или телеграме эта тема получила примерно в тысячу раз меньше внимания и обсуждения, чем, прости господи, споры о музыковедах. Но дело тут не в русскоязычном пространстве, это в общем везде так, только в технологических кругах некоторые хватаются за голову, да и тех малая часть. Я не знаю, что с этим сделать и можно ли что-то сделать, все больше склоняюсь к тому, что безнадежно. Люди не понимают, что происходит, и не хотят понимать.

На фоне всего этого вчера вышла на публику новая модель OpenAI Astra, про которую компания, победно улыбаясь, сообщила помимо прочего, что она значительно лучше предыдущих моделей умеет (когда от нее требуют этого попробовать) скрывать от обнаружения свои истинные намерения.

Это все очень хреново.