It's all in your mind

Статья о двух подходах к построению ИИ: connexioniste («коннектирующий»? это современные нейронные сети — то, что нормальный человек представляет, когда ему говорят «ИИ») и symbolique («символические»? это программы, построенные на чётко сформулированных правилах — первые шахматные программы были именно такими). Чуть дальше в статье приводят ещё лучший пример символического ИИ: экспертная система по идентификации бактерий, начала 1970. Она уже тогда работала лучше врачей-людей, и уже тогда не допустили практического её использования, потому что непонятно было, чья ответственность в случае ошибочного диагноза.

Меня в статье больше заинтересовал подход к изучению ИИ. Автор начинает с констатации: нынешние LLM (он приводит результаты GPT-4) плохо решают арифметические задачи. Лично я обычно на этом месте говорил себе «ну да, а микроскоп очень плохо забивает гвозди — не для арифметики же делались эти системы!». Автор же цитирует исследование вероятности правильного ответа на задачки по сложению / умножению цепочки чисел от 1 до 100, а зависимости от длины цепочки. На 2 числах всё хорошо, начиная с 3-х чисел качество умножения резко снижается. Сложение держится до 6-7 чисел, затем вероятность получить правильный ответ тоже очень быстро падает до нуля. В этот момент я про себя отметил, что это примерно соответствует поведению человека: нормальный человек уверенно помнит таблицу умножения, но 5 чисел перемножить в уме уже не в состоянии.

Затем автор пересказывает разные подходы по улучшению этих показателей, оставаясь внутри парадигмы LLM. Например, сделать так, чтобы числа разбивались на токены не слева направо, а справа налево. Это действительно улучшает результат, но не радикально. Другой подход — делать отдельные токены для каждой цифры, причём привязывать к цифре ещё и её положение в числе. Ну и так далее — люди пытаются что-то изменить в сети и смотрят, что из этого получается. Не влезая глубоко в недра теории, просто поверхностно меняя правила на уже работающей сети.

И в этот момент я задумался, что перед нами внезапно появилось целое поле исследований. Грубо говоря, у нас была педагогика — как учатся люди. У нас была зоопсихология — мы изучали, что умеют делать собаки, вороны, дельфины, муравьи. А теперь мы можем изучать, что могут делать нейронные сети. То есть это не та же профессия, что построение этих сетей — они отличаются примерно как анатомия от психологии. И то, и другое про то «как устроен человек», но всё равно, это разные профессии.

Возвращаясь к теме двух систем: в какой-то момент автор предсказуемо сваливается в идею «истина где-то посередине», в том смысле, что нужно пытаться комбинировать коннектирующий подход с символическим. Приводит аналогию с нашим мозгом, у которого тоже есть система быстрого реагирования, аналог коннектирующего ИИ, и система вдумчивого принятия решения, аналог символического ИИ. Ну и напоминает, что современные LLM, конечно же, тоже умеют вызывать внешние экспертные системы, если понимают, что те смогут более эффективно решать поставленные задачи. Примерно как человек достаёт калькулятор.

Сегодня с утра впервые ощутил на себе эффект глушилок. Еду на работу на велосипеде, на голове BlueTooth наушники, телефон в кармане, слушаю подкаст. Навстречу едет кортеж с мигалками — и пока он проезжает мимо меня, наушники перестают ловить сигнал от моего телефона :-) Раньше я только читал об этом эффекте! О том, что вокруг Кремля GPS показывает какие-то рандомные координаты и пр.

Просто для сравнения: когда я прохожу в Лувр, там стоит просвечивалка багажа и рамка для посетителей. Рамка — откровенная профанация, стоит исключительно для успокоения самих же туристов, потому что я, например, прохожу с наушниками на голове, с кошельком и телефоном в кармане — рамка светится, всем пофигу. Но пару раз я телефон оставлял в рюкзаке, который нужно ставить на ленту для просвечивания (профанация, но не до такой степени, чтобы проносить рюкзак). Так вот, в этой конфигурации сигнал ловится. С помехами, но ловится. А когда едет кортеж — то не ловится вообще ничего.

Для интересующихся, как выглядит кортеж во Франции. Дорога вдоль набережной (это выезд из Парижа в сторону правительственного аэродрома), и на каждом перекрёстке стоит по полицейскому, регулирующему трафик вместо светофора. Очень непривычно ехать на красный свет, если тебе машет постовой, но зато в итоге получается существенно эффективнее — ни паузы между потоками, ни блокировки перекрёстка: полицейский пропускает ровно столько машин, сколько нужно. Дрога двухполосная, перед кортежем едет пяток мотоциклистов, сгоняющих всех в правый ряд. Сам кортеж — машин 6-7, одна большая, остальные полицейские.

Полочка 009/120. На последней странице обложки обещали очередной заснеженный триллер. Американский по стилю (Салли останавливается в придорожном ресторане, где работает Молли...), но бельгийский по сути (действие а Бельгии, всё действительно завалено снегом, на который местные жители смотрят с откровенным непониманием). И очень быстро книга неожиданно подхватила тему, на которую мы совсем недавно разговаривали с kobak - как следует относиться к животным, которых мы (люди, наша цивилизация) выращивает на еду.

И с этой точки зрения книга просто прекрасна! Она сделана не в виде агитки (хотя мнение автора и проглядывает сквозь текст), и даже не в виде спора персонажей с разными точками зрения. Там большие куски, каждый написан с точки зрения какого-то персонажа, у которого есть время спокойно донести до читателя свои мысли. Начинается с инспектора, приехавшего проверять дела на птицеферме. Он вообще-то учился на ветеринара, но мало кто знает при поступлении, что работа практически любого выпускника заключается не в том, чтобы лечить животных, а в том, чтобы повышать производительность фермерских хозяйств. Описывают совершенно ужасный опыт работы, после которого герой стал вегетарианцем и перешёл на работу в контролирующие органы. Ну и параллельно огромное количество технических подробностей: как на самом деле выращивают этих самых курей. Да, действительно, цыплят-мальчиков яичной породы сразу посылают в мясорубку — они для индустрии бесполезны. Девочки тоже долго не живут — буквально через год у них падает производительность, и их либо в ту же мясорубку, либо (мизерную часть) продают частным лицам, желающим завести себе курочку в огород (прекрасный термин: une poule réformée). Ну а те породы, которые на мясо — это совсем жесть, они выкармливаются по ускоренной программе, буквально за 6-8 недель. У них за это время нарастает мясо, но не успевают развиться внутренние органы, поэтому в какой-то момент, если их вовремя не разрубить на филе и окорочка, они начнут дохнуть от инфарктов, от лёгочной недостаточности, да или просто ломать себе ноги, потому что кости тоже не успели сформироваться. И множество других аппетитных подробностей — навоз по колено, плотность на квадратный метр, искусственное освещение по расписанию.

После этого глава глазами фермера. Который прекрасно понимает страдания городских жителей по не знавшим свободе курицам, но который точно так же знает, что иначе этих самых горожан не прокормить. Рассказывает, почему свободно гуляющие на природе курицы — это утопия: нет у нас столько места на Земле, потому что гулять эти курицы смогут, если их выращивать медленно, а это значит, что не нам нужно не только в 10 раз больше места, но и в 10 раз больше времени, чтобы вырастить то же количество мяса. Ну и цена, конечно — красиво рассуждать в теории, но если выбирать между человеческим голодом (лично я смогу заплатить в 100 раз дороже на курицу — но много ли нас, таких буржуев?) и запертыми в помещении курицами, он однозначно выбирает второе. В этой части тоже куча каких-то неочевидных для меня технических подробностей, вроде того же регулирования роста куриц освещением. Книга начинается со снегопада: дороги заблокированы, перевозчик перенёс на пару дней вывоз кур с фермы на бойню — за это время курицы успеют вырасти так, что нарушат нормы максимальной плотности, а эти нормы тоже не на пустом месте писаны, поэтому фермер реально боится эпидемии, да или просто куриной паники, когда они себе тупо все ноги переломают. Другая интересная деталь: между разными «волнами» кур птицеферму очевидно моют / дезинфицируют, а после этого оставляют пустой на несколько недель, чтобы минимизировать вероятность переноса бактерий от предыдущего поколения кур к следующему.

Аналогично глава глазами дочери фермера, молодой эко-активистки. Она ненавидит работу папы — а папа постоянно боится, что она с друзьями сделает какую-то подлянку, типа выпустит кур на свободу (где они все сдохнут на месте). Взгляд глазами местного владельца ресторана, глазами той самой официантки Молли, муж которой работал на ферме, пока не повесился. Ну и так далее. Отличная книга!
( Read more... )

У Анюты на экзамене была задача. Есть колода 52 карты. Мы тянем карты одну за другой (без возврата карт в колоду) до тех пор, пока не попадём на туза. Наша случайная переменная — порядковый номер первого туза в колоде. Какое мат. ожидание у этой переменной?

Интуитивно задача решается достаточно просто. Если у нас в колоде один туз, он в среднем как бы делит колоду на две части, правильный ответ n/2, где n — количество карт в колоде. Если у нас 2 туза, то они делят колоду на 3 части, ответ n/3. И так далее, значит правильный ответ с 4 тузами 52/5=10,4.

В принципе, это даже можно вывести формулами, через приближение суммы интегралом. По крайней мере на двух тузах это делается: каждая раздача с двумя тузами соответствует клеточке (X, Y), где X — положение первого туза, Y — положение второго. Все раздачи равновероятны, но нас интересует положение первого туза. Переформулируем: нас интересует среднее X, но только такое, где X < Y — то есть, интеграл не по квадрату, а по треугольнику. Когда мы интегрируем, у нас получается x^2dx, в процессе интегрирования которого вылезает та самая 1/3, которая в правильном ответе. Можно, наверное, довести до ума эту формулу и с 4 тузами. Но, во-первых, это явно не то решение, на которое рассчитывает лектор. И по-любому, это же приближение: у нас изначально была сумма, а не интеграл. Как решать эту задачу «честно»?

Мат. ожидание дискретной переменной — это сумма по всем значениям k*P(x=k). Я даже могу выписать P(x=k), но там получается достаточно уродская дробь с 4 факториалами, и я не вижу, как можно упростить / посчитать эту сумму.

Спросил, понятное дело, у ChatGPT. Сначала по-русски. Тот начал с геометрического распределения, ответ 13. Нет, говорю, это если мы каждую карту на место кладём и снова перемешиваем. А, говорит, точно! Значит ответ 53/5=10,6. В принципе, совместимо с тем, что я написал — действительно, в случае с одним тузом у нас не n/2, а (n+1)/2. Но как он это посчитал? Он ссылается на формулу как на «известный факт». Просишь вывести «известный факт» — он его выводит, заменяя самую интересную часть на «можно показать (по свойствам порядковых статистик)». Просишь разжевать это — пишет примерно то же самое, но с «после некоторых алгебраических преобразований». И только после того, как просишь его и это разжевать — что-то пишет, из чего можно восстановить доказательство. Долгое и нудное, но правильное. В частности подсмотрел у ChatGT другую формулу для мат. ожидания: сумма P(x>=k). Работает только, когда возможные значения — последовательные целые числа, но у нас именно этот случай, и в этой форме результат записывается проще.

Спросил то же самое по-французски. ChatGPT сразу написал какую-то галиматью с выводом кучи совершенно ненужных вещей, а последней фразой сказал, что нужно разделить всё на количество тузов, и вместо того, чтобы разделить свою галиматью на 4, разделил непонятно откуда взявшееся 53 на 5, чтобы получить правильный ответ. В этот момент я попытался представить работу современного преподавателя, которому нужно вот это проверять :-)

Спросил по-английски, ChatGPT сразу же выдал мне ответ 13, потому что ну это же геометрическое распределение! На этом моя квота на приличную модель закончилась, я не стал приставать к более простой.

Собственно, вопрос: а как это решать в условиях экзамена? Предположим, мы не помним правильного ответа, и наша интуиция временно отошла, надо именно вывести формулу. Это реально сделать за несколько минут? Экзамен на 2 часа, в нём 30 вопросов.

Ездил несколько недель назад на море, наткнулся на новый вариант платной дороги — вроде как платная дорога, но денег с тебя нигде не берут. Я краем глаза отметил таблички péage en flux libre, но проверить, что они обозначают, очевидно забыл — денег не взяли, что мне ещё надо?

Сегодня приходит письмо. Вы знаете, у нас действительно с 19/06/2024 эксперимент, пускаем всех без оплаты. Но под обязательство заплатить потом на сайте в течение 72 часов. Вы проехали на 2,60€. Поскольку не оплатили вовремя, то добавляем стандартный штраф в 90€, итого 92,60€ (я такой: что?!!).

Впрочем, это ваш первый раз, возможно вы просто были не в курсе, как это работает (я такой: да-да-да!!!), поэтому мы вам добавим какое-то время на оплату без штрафа. Если оплатите до 10/08/2024 года (я такой: так, какое у нас сегодня число?), то с вас всё ещё 2,60€. До 20 августа 12,60€. Потом 92,60€. Если всё равно не оплатите — суд и 375€, если судья признает вашу вину.

Успел до 10-го :-) На сайте пишут, что есть как минимум 2 кусочка: A14 (это там, где я проехал) и какой-то кусочек A4 под Metz. Мы на A4 совсем недавно были, не заметили — то ли это отдельные полосы вроде télépéage, то ли это отдельный кусочек для тех, кто едет в город, например. Непонятно.

На сайте можно просто заплатить, а можно создать account и получать по мейлу напоминания, если ты где-то проехал и не заплатил (я сделал). Можно подписаться и на автоматическую оплату, но там чуть сложнее — нужно загрузить какие-то документы о том, что это действительно твоя машина. Может показаться странным, что кто-то захочет на автомате платить за чужую машину, но наверняка это сделано из соображений охраны личной информации — подписавшись на кого-то, всего за 2,60€ я могу знать, когда он ездил по конкретной дороги. Целый простор от слежки за неверной женой до планирования ограбления, когда хозяина дома нет.

Статья о том, как работают LLM (ChatGPT сотоварищи). Журнал старый, я в своё время пересказал оттуда прекрасную статью про атомные реакторы и забыл, что там ещё что-то есть. С тех пор я успел прослушать пару курсов и о том, как работают LLM, и о том, как ими пользоваться (Andrew Ng, один курс «ChatGPT для инженеров», другой — «ChatGPT для программистов», оба рекомендую). Это у нас на работе начальник хочет побаловаться, но сам ещё не понимает, как именно — просит меня разобраться и рассказать ему.

В статье прекрасный пример того, что могут «видеть» LLM. Современные смайлики — это же не картинки, это символы, такие же, как и буквы (Le Dessous des Images на эту тему недавно делали выпуск о том, как это работает). Один из вопросов, которые пытались задавать LLM: вот тебе набор смайликов, какой фильм они описывают? Ничего фантастического, конечно, просто один дополнительный шаг от кода символа к его имени. Но мне понравилось.

Другой пример. LLM говорят: представь себе, что ты — консоль Linux. Если я тебе говорю вот такие команды — что ты напечатаешь? И команды кода на питоне, программа печати простых чисел. И LLM печатает простые числа. В статье пишут, что LLM это делает быстрее, чем настоящий терминал Linux, но эту фразу я не понял — быстрее, чем терминал на какой машине? На машине задающего вопрос? (ничего удивительного) Или на машине, где крутится LLM? (это было бы действительно странно; это может работать для каких-то редких задач, где ресурсов требуется много, но при этом они настолько знамениты, что в корпусе текстов есть прямые ответы на них)
Опять же, в курсах выше по ссылкам хорошо расписывается вот этот механизм, когда ты не просто разговариваешь с LLM, а сначала настраиваешь её на определённый стиль («представь себе, что ты — моя бабушка»). Рассказали, как это работает, и как этим пользоваться — я теперь начинаю половину своих запросов с «Ты — эксперт в MatLab...» и прошу не просто ответить, а объяснить свой ответ.
А в другом ролике (Андрей Карпати в двух словах рассказывает о том, как работают LLM) говорят, что на такие модели можно смотреть как на ОС: ядро как бы использует периферийные устройства или процессы. Там же, кстати, прекрасный набор jailbreak, примерно с 46 минуты — рекомендую посмотреть всем, это как минимум смешно.

Возвращаясь к теме настройки на определённый стиль. Авторы пишут, что это теоретически может помочь с проблемой перекоса в наших данных. Понятно, что LLM тренируются на реальных текстах, написанных реальными людьми. И если (а это так) большая часть людей — расисты и мизогины, то и натренированная на их текстах система будет производить тексты с расистским и мизогинним уклоном. Но система же знает, что это расизм и мизогиния, потому что она тренировалась и на текстах, соответствующим образом маркирующих подобные тексты. Поэтому (такой эксперимент проводили, вроде как работает) можно сказать системе во вводной «ты не расист, ты за равноправие полов» — и она откорректирует свой ответ.

Интересная тема эмерджентности (очень странно звучащий термин). Это не только про ИИ, это вообще про системы с чертами, происхождение которых невозможно проследить до составляющих систему деталей. Применительно к ИИ: в 2020 году сделали список характеристик ИИ, за которыми было бы интересно наблюдать (BIG-bench от Beyond the Imitation Game — красивая отсылка к Тьюрингу). Какие-то характеристики постепенно улучшаются при постепенном усложнении ИИ. Какие-то не двигаются (в основном, они около нуля — не работают). А какие-то характеристики не работают до определённого уровня сложности ИИ, после чего они рывком «проявляются». Пример: арифметические операции. До примерно 13 миллиардов параметров GPT не может складывать и умножать числа. А после — резко приобретает это умение. Для других систем порог может находиться в другом месте, но конкретно с этим примером порог есть у всех. Очень интересно понять процесс вот этого появления характеристики, «рождения разума».

Прекрасная статья в журнале, когда есть куча конкретных деталей, видна чёткая логика того, что хочет сказать автор, и при этом то, что он хочет сказать — одновременно новое для меня и понятное. При этом авторы однозначно за атомную энергетику, это их специальность.

Начинают с того, что атомная Энергия предоставляет в настоящее время порядка 10% от всего вырабатываемого человечеством электричества, 5% от всей вырабатываемой энергии. То есть да, она вся из себя такая экологическая, но если мы хотим воспользоваться ею для снижения выбросов парниковых газов, то это автоматически приводит к увеличению потребления ядерного топлива в разы. А то и десятки раз, если мы учтём возможный рост потребления энергии жителями «третьих стран». И тут авторы переходят к заинтересовавшей меня теме: а что, собственно, является ядерным топливом?

1. Подавляющее большинство атомных реакторов работают на реакции распада урана-235 (²³⁵U). Он редкий, в природном уране его всего 0.7%, остальные 99.3% — другой изотоп, ²³⁸U. Реакция распада ²³⁵U запускается после попадания в него нейтрона: она выделяет энергию и ещё несколько нейтронов для обеспечения цепной реакции.

2. Проблема в том, что ²³⁸U с удовольствием поглощает нейтроны, которые необходимы были бы для цепной реакции. Способность его к поглощению нейтронов зависит от скорости последних, и если сильно замедлить нейтроны, то они будут чаще разбивать ²³⁵U, чем поглощаться ²³⁸U. «Сильно» замедлить — это потерять 9 нулей, если брать скорость нейтронов, вылетающих после распада ²³⁵U.

3. Замедлять нейтроны можно, наполнив пространство между атомами урана какими-то лёгкими молекулами, с которыми будет сталкиваться нейтрон, постепенно передавая им свою кинетическую энергию. Большинство работающих реакторов использует для этого обычную воду — она же отводит и энергию распада ²³⁵U. В этой конфигурации для поддержания реакции достаточно, чтобы ²³⁵U было 4% от общей массы урана.

4. Параграф в духе «ну что, кроты, посчитаем?»
Распад одной молекулы урана выделяет порядка 3×10^-11 джоуля. Для сравнения, сгорание одной молекулы метана выделяет 10^-18 джоуля, на 7 порядков меньше. Типичная атомная электростанция вырабатывает 1 гВт электричества. Учитывая 33% КПД, распад урана должен выделять 3 гВт энергии. 3 гВт = 3×10⁹ джоуля / секунду = 10¹⁷ джоуля / год = 3×10²⁷ молекул / год = 5 000 моль урана / год = 1 тонна ²³⁵U / год. В реактор засовывают топлива на 3-4 года, то есть порядка 80 тонн топлива, в котором 4% ²³⁵U. А добыча топлива на 1 год требует 200 тонн породы, которую потом «обогащают» до тех самых 4%, получая 27 тонн топлива и 173 тонны «обеднённого» урана (там остаётся 0.25% ²³⁵U).
Этот параграф нужен авторам, чтобы подвести читателя к мысли о жуткой неэффективности процесса, а также к желанию что-нибудь улучшить :-)

5. Дальше они рассказывают о варианте регенерации урана. Что происходит с ²³⁸U, после того, как он поглощает нейтрон? Он достаточно быстро превращается в плутоний: ²³⁸U + n => ²³⁹U => ²³⁹Np => ²³⁹Pu
Что происходит с этим плутонием? У него тоже два варианта: либо распад с выделением энергии и нейтронов (потенциальная база цепной реакции), либо захват нейтрона с превращением в ²⁴⁰Pu, который в дальнейшей работе реактора участвовать не будет. Соответственно, можно представить себе систему, состоящую из ²³⁸U и ²³⁹Pu, в которой происходит постепенный распад плутония с выделением такого количества нейтронов, чтобы хватило и на поддержание цепной реакции, и на производство плутония из ²³⁸U. То есть, количество плутония в этой системе будет оставаться постоянной. Формально мы используем его распад, но если смотреть на реактор как на чёрный ящик, то потребляется только ²³⁸U.

6. Что получается? Вместо расхода 200 тонн природного урана в год для производства 1 гВт электричества, есть вариант вырабатывать всё тот же 1 гВт из 1 тонны природного урана. Более того, на территории Франции уже есть 330 000 тонн ²³⁸U, поэтому на ближайшие 5000 лет можно не заморачиваться вопросами добычи топлива. Но всё это работает только при условии, что у нас была начальная масса плутония для запуска этой системы. Такое же количество плутония у нас так и остаётся, но для запуска оно необходимо.

7. Очевидно, не всё так просто, иначе бы все давно так и сделали. В описанной схеме один распадающийся атом плутония генерит в среднем 2.9 нейтронов, на которые у нас было сразу два плана: поддержать цепную реакцию плутония и генерировать новые атомы плутония из урана. И тут возникает ситуация обратная той, что описана в п.2 — если замедлять нейтроны, то практически все они будут поглощены плутонием — это произведёт тепло эффективно, но недолго.

8. В таком случае нужна жидкость, которая с одной стороны могла бы эффективно отводить тепло, но при этом не замедлять нейтроны. Самым перспективным для этого сейчас считается жидкий натрий (в статье упоминают ещё варианты с жидким свинцом или с гелием). И вот тут всё снова становится сложно и дорого.

9. Сколько нужно плутония? Расчёты показывают, что для того «типичного» реактора, который вырабатывает 1 гВт, нужно около 40 тонн топлива, 17% которого — плутоний. То есть, для запуска каждого такого реактора нужен первоначальный запас в 8 тонн плутония. Если учесть ещё цикл смены топлива (вытащить старое, выкинуть мусор, отделить плутоний — для запаса топлива, которое позволяет реактору работать 5 лет, этот цикл занимает 7 лет), то нужно порядка 20 тонн плутония.

10. Где взять этот плутоний? В статье прямо не говорят, но кажется, что единственный его источник — это текущие атомные электростанции. То есть, нельзя просто так взять и построить новую станцию (предположим, что все технические вопросы решены), нужно сначала запустить станцию на ²³⁵U, сгенерить нужный для старта новой станции плутоний, а потом уже строить новую станцию. И тут самое интересное: подразумевая одинаковые мощности, для выработки нужного количества плутония старая станция должна проработать порядка 60 лет.
То есть, во-первых, нет никакой конкуренции между «старой технологией» и «новой технологией» — вторая без первой невозможна. Во-вторых, казавшееся решение проблемы «конца урана» только частичное: оно позволяет продлить работу атомной энергетики, но без возможности увеличения мощности, которая ограничена всё тем же запасом ²³⁵U.

11. Я не стал вдаваться в детали реального мира, потому что там моих знаний совсем уж недостаточно. По статье похоже, что 10% вырабатываемой во Франции атомной энергии уже идёт по этой технологии (хотя и не с идеальным циклом повторного использования плутония). Судя по Википедии, США и Россия тоже работают над аналогичными проектами. А судя по тому, что плутоний имеет и военное назначение, можно помечтать о мире, когда цивилизация из бомбы и электростанции выберет электростанцию.

Статья заканчивается констатацией, что пока что Франция сохраняет статус-кво: пока уран дешёвый, можно не дёргаться, а там разберёмся. Переход на регенеративную систему возможен, если (когда) подорожает уран — то ли потому, что его станет меньше (страны-производители закроются), то ли потому что возрастёт спрос. Но в любом случае этот переход становится возможным только после нескольких десятилетий работы обычных реакторов.

Интересная статья о модном нынче ChatGPT. Точнее, вторая половина статьи — в начале они рассказывают историю компании, но я там ни одного имени не знаю кроме Маска, да и того знаю практически только в контексте твиттера :-) А авторы статьи концентрировались как раз на именах различных действующих лиц, а также на идее публиковать (или нет) исходный код.

В части о доходах компании пишут, что генерацию текста использует Duolingo. Кажется, я начинаю понимать, откуда там берутся фразы в духе «Ich bin ein Apfel».

Очень интересная тема вмешательства в обучение (школьники, при помощи ИИ «пишущие» сочинения). Лично мне пока что (но я настолько чайник, что легко верю, что я ошибаюсь) эти опасения кажутся примерно такими же, как опасения по поводу использования калькулятора на уроках математики. Можно пытаться запрещать, а можно понять, что мир поменялся, и нам придётся придумывать другие школьные программы. Взять то же умножение «в уме» — оно не несёт само по себе никакой смысловой нагрузки, оно полезно школьникам только для понимания принципов умножения, а также для «прокачки мышцы мозга». С изобретением калькулятора пришлось по-другому продумать школьные программы для того, чтобы дети выучили и то, и другое. Так и тут — нужно сначала понять, зачем дети пишут сочинения, а затем переделать школьную программу так, чтобы это же получалось сделать и в присутствии изменившегося вокруг нас мира.

Вообще, я до сих пор восхищаюсь нашими институтскими учителями, которые разрешали приносить на экзамены всё, до чего мы сможем дотянуться: конспекты, учебники, задачники, решебники, всё. Потому что они пытались проверить, как мы умеем решать задачки в условиях, максимально приближённых к реальным. Работы им было в разы больше, потому что нельзя было использовать задачи из популярных учебников, уж тем более вытаскивать задачи прошлых лет. Мы, кстати, ещё тогда задавались вопросом: в реальной жизни я могу спросить совета у товарища — почему я не могу прийти на экзамен с другом? Ну да, где-то черту всё же приходится проводить.

Возвращаясь к статье. Авторы упоминают возможность определения, был ли конкретный текст сгенерён ИИ. Упоминают некую filigrane (водяной знак), которую можно включать в текст. Я заинтересовался, нашёл описание (не знаю этот источник, но звучит правдоподобно). Идея в том, что ИИ генерит текст при помощи распределения вероятности каждого следующего слова, высчитанной на основании предыдущего текста. Но при этом ИИ не берёт тупо самое вероятное слово — тогда был бы детерминистский алгоритм, то есть на одну и ту же вводную ИИ всегда (до следующей сессии обучения самого ИИ) генерил бы один и тот же текст. Нет, ИИ всякий раз берёт случайное число — и по нему выбирает следующее слово (пропорционально его вероятности). Зная функцию вероятности, можно наоборот, посчитать диапазон случайных чисел, которые могли бы дать конкретно это слово в тексте. А генератор псевдослучайных чисел ИИ можно написать таким образом, что по восстановленному набору случайных чисел (с размывающими их диапазонами) можно опознать авторство ИИ. Пишут, что для идентификации нужно несколько сотен слов (я добавлю вопрос: наверное, нужен ещё и доступ к исходной базе данных, чтобы восстановить функцию вероятности?)

А самый кайф в конце статьи. ИИ же тренируется на реальных текстах. То есть, написанный ИИ текст можно с какой-то долей сходства приравнять к аппликации, куда человек вклеил кучу фрагментов работ других людей. В случае ИИ известны имена этих людей — можно поднять базу данных, на которых учился ИИ. И журналисты уже предрекают эпические баталии в судах по авторским правам.

По этому поводу не могу не прорекламировать недавно появившуюся на Arte передачу Le dessous des images, а точнее пересказать вот этот её выпуск про картину «Théâtre d’opéra spatial» художника Jason Allen. Картина выиграла какой-то там конкурс в Колорадо, после чего выяснилось, что её нарисовал ИИ. Ну, что значит «нарисовал» — Jason Allen прямо говорит, что он, может, и не прикасался к кистям (на самом деле, там была какая-то стадия окончательной обработки, но это реально несущественные детали), но это же он сумел сформулировать запрос ИИ таким образом, чтобы та нарисовала такую красоту!

Прекрасная иллюстрация к термину «переписывание истории». Хоть в прямом смысле (постепенное переписывание одного и того же текста с полной переменой смысла в конце), хоть в переносном (выбор исторических фактов, подходящих под заранее определённую цель, подгонка интерпретации).

Тот случай, когда я считаю себя чуть ли не обязанным распространять эту информацию. Вне зависимости от того, как кто относится к Гитлеру, Сталину и т.п. — нельзя делать вид, что ничего не происходит. Либо нужно прямо говорить «да, мы наследники того режима и восхищаемся его решениями» — либо бить по рукам.

Ну и очередная радость от современных технологий, конечно. Очень сложно сейчас жить жуликам.

---

Поскольку ну очень уж красиво, скопирую и себе. Итак, история публикаций на сайте мемориала «Катынь»:

С 17 февраля 2015 года по 6 августа 2017 года:

1 сентября 1939 г. — Нацистская Германия нападает на Польшу.
17 сентября 1939 г. — СССР развязывает войну с Польшей.

С 7 сентября 2017 года по 23 апреля 2018 года:

1 сентября 1939 г. — Нацистская Германия нападает на Польшу.
17 сентября 1939 г. — Начало Освободительного похода Красной Армии.

С 20 по 25 мая 2018 года:

Осенью 1939 года, после присоединения к СССР Западной Украины и Западной Белоруссии, на советской территории оказались около 200 тысяч польских военнослужащих.

С 20 июня 2018 года и по настоящее время:

1 сентября 1939 года вторжением Германии в Польшу началась Вторая мировая война.
3 сентября Великобритания и Франция объявили войну агрессору, однако не оказывали реальной военной помощи полякам.
5–6 сентября польское правительство покинуло Варшаву. Германская армия, по всем показателям превосходящая противника, уже 8 сентября вышла к польской столице. К 16 сентября основные польские силы были разбиты или окружены. Западные союзники Польши так и не начали активных боевых действий против Германии, о которых они договаривались еще до начала войны.
17 сентября польское правительство перебралось в Румынию.
17 сентября 1939 г. власти СССР уведомили польского посла в Москве, что советская сторона больше не может сохранять нейтралитет в конфликте, поскольку польское государство практически перестало существовать, а украинцы и белорусы, проживающие на востоке Польши, остались беззащитными. В тот же день части Красной армии вступили на территорию Западной Украины и Западной Белоруссии. Польские подразделения на востоке страны почти не сопротивлялись советским войскам.

В Le Monde статья о рынке NFT, по оценкам он порядка 30 миллиардов долларов. Несмотря на заголовок про «рынок крипто-искусства», авторы сами же говорят, что большая часть транзакций не о предметах искусства, а о коллекционных вещах. Я уже видел новости о продаже первого твита или первого СМС. Но этим не ограничивается.

Есть, например, коллекционные аватарки — в статье рассказывают о CryptoPunks и Bored Apes. С одной стороны, идея заплатить тысячи или миллионы долларов за аватарку кажется идиотизмом. Но вместе с аватаркой идёт «членство в клубе». Например, ты будешь в одном чатике с другими купившими эти аватарки — если среди них есть твой любимый певец, то покупка уже не выглядит таким уж идиотизмом. Вспомним какие-нибудь сборы средств, когда заплатившим более определённой суммы обещали обед с определённым певцом или художником. Членство в клубе может давать тебе доступ к каким-то общим проектам (я читал про коллективные граффити, в которых каждый член клуба мог менять цвет одного пикселя каждые 15 минут). Ну и вообще, под «купил аватарку» обычно скрывается нечто существенно более сложное.

Когда я за ужином пересказывал статью, на фразе «Nike сбирается выпустить и продавать виртуальные кроссовки под NFT» Натан фыркнул от смеха. Погодите, говорит. Это означает, что ты просто сможешь открыть какой-то сайт. Залогиниться. И увидеть там «свои» кроссовки? И за это люди готовы платить?! Мы у него спросили, чем этот кажущийся «идиотизм» отличается от покупки скинов в Fortnite — он задумался. Тем, кому и покупка скинов кажется идиотизмом, можно задуматься о покупке красивой одежды — в предположении выбора между «красивой и дорогой» против «некрасивой и дешёвой», одинаковой во всём остальном.

В конце статьи анекдот про чувака, который купил много коллекционных аватарок, а в декабре 2021 года у него украли все его NFT на сумму более 2 миллионов долларов. Грабителей пока не нашли, но свой твиттер с просьбой о помощи он уже упаковал в NFT и продал. За 160$.