Pour la Science № 582 — мелочи
May. 12th, 2026 11:25 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
green_frИнтервью с палеонтологом, обнаружившим самую старую рвоту / отрыжку в мире — 290 миллионов лет, ещё до динозавров. Рассказывает о том, как редко находится окаменевшая рвота (полезное в повседневной жизни слово régurgitalithe, надо запомнить), и что в этом случае повезло — животное стошнило на берегу реки, и достаточно быстро рвоту покрыл речной ил.
Классная статья о том, как учёные пытаются найти звезду «населения III» (очень странный перевод, я ожидал термин вроде «поколения»). В двух словах: по содержанию металлов в звезде астрономы различают «население III» — это самые старые звёзды, практически только из водорода, они активно его перерабатывали и в какой-то момент (в течение первого миллиарда лет после Большого взрыва) взорвались, распространив синтезированные металлы в окружающую среду. В звёздах «населения II» — следующее поколение — металлы уже появляются. Ну а «привычные» нам звёзды — это «население I».
По определению, если мы ищем на небе звезду, которая жила более 13 миллиардов лет назад, нужно смотреть далеко, примерно на 13 миллиардов световых лет. Понятно, что нет у нас таких телескопов, но тут на помощь приходят гравитационные линзы. Я уже читал о них — гравитация точно так же искажает траекторию света, как и обычная линза, и при некотором везении можно увидеть звезду, находящуюся строго за массивным предметом, потому что он её увеличивает как линза. Ну и дальше статья о том, какие далёкие / старые звёзды удалось обнаружить, и что надеются открыть в ближайшее время.
Длинное интервью с учёным, занимающимся исследованием сознания и сна. Меня удивило то, с какой лёгкостью он ответил «это устаревшая гипотеза» на вопрос о том, правда ли, что наши сны прокручиваются у нас в мозгу не «в прямом эфире», а формируются буквально «за секунду до пробуждения», а то и достраиваются после пробуждения. Я далёк от этой темы (интересно, но не представляю возможным в ней разобраться — жизнь слишком коротка), и мне эта «устаревшая» гипотеза наоборот казалась доминирующей.
В рубрике про книги интервью с автором «Faut-il encore décider ?» - насколько реально переложить принятие решений на ИИ, и если да, то каких решений? Очевидный пример с медициной, где уже давно научились различать принятие решения от ответственности за принятие решения — ИИ может принимать решение, но ответственность несёт врач. И автор книги призывает не к тому, чтобы врач проверял каждое решение ИИ (он чётко говорит, что это привело бы к ухудшению результата), а чтобы врач контролировал ИИ, постоянно проверял, что ИИ всё ещё можно доверять. Интересный подход!
Другой очевидный пример: правосудие. Нас (общество) там интересует не только результат, но и процесс. Представьте себе, говорит, что вместо суда над убийцей (приводят пример недавнего процесса над разжигателями ненависти, приведшей к убийству Самюэля Пати). Очевидно, что если бы у нас был очень качественный ИИ с кнопкой «прочитать все документы и вынести вердикт», и даже если бы этот вердикт в точности совпал бы с тем, что в итоге решили судьи, — обществу нужен не только вердикт, ему нужен процесс, обсуждение, дискуссия.
Среди того, что мешает сегодня обществу перекладывать всё больше и больше решений на ИИ, автор называет отсутствие обсуждения алгоритмов. Вот взять ParcourSup (что-то типа «распределительной шляпы» во французской системе образования, когда выпускники пишут, куда бы они хотели поступить, ВУЗы пишут, кого бы они хотели принять, а алгоритм крутит-вертит и выдаёт, кто куда поступил). Это несомненный прогресс с точки зрения эффективности — и времени люди тратят меньше, и результат в общем получается лучше, какую бы объективную меру результата мы ни выбрали. И даже сам алгоритм публичный. Но при этом в обществе устойчивое отторжение, потому что мало кто затрудняет себя хотя бы попытаться разобраться в том, как на самом деле работает этот алгоритм, да и власти, принявшие решение о его введении, не занимались общественным обсуждением.
А ещё интересная тема о том, как уже сегодня можно использовать генеративные ИИ. Понятно, что отдавать им принятие решений ещё рано, если вообще когда-то будет возможно. Но зато можно использовать их в качестве критика собственных идей, «адвоката дьявола». Понять, насколько мы способны защитить собственные идеи хотя бы перед критикой ИИ — ну или обнаружить дырку в собственных рассуждениях.
Классная статья о том, как учёные пытаются найти звезду «населения III» (очень странный перевод, я ожидал термин вроде «поколения»). В двух словах: по содержанию металлов в звезде астрономы различают «население III» — это самые старые звёзды, практически только из водорода, они активно его перерабатывали и в какой-то момент (в течение первого миллиарда лет после Большого взрыва) взорвались, распространив синтезированные металлы в окружающую среду. В звёздах «населения II» — следующее поколение — металлы уже появляются. Ну а «привычные» нам звёзды — это «население I».
По определению, если мы ищем на небе звезду, которая жила более 13 миллиардов лет назад, нужно смотреть далеко, примерно на 13 миллиардов световых лет. Понятно, что нет у нас таких телескопов, но тут на помощь приходят гравитационные линзы. Я уже читал о них — гравитация точно так же искажает траекторию света, как и обычная линза, и при некотором везении можно увидеть звезду, находящуюся строго за массивным предметом, потому что он её увеличивает как линза. Ну и дальше статья о том, какие далёкие / старые звёзды удалось обнаружить, и что надеются открыть в ближайшее время.
Длинное интервью с учёным, занимающимся исследованием сознания и сна. Меня удивило то, с какой лёгкостью он ответил «это устаревшая гипотеза» на вопрос о том, правда ли, что наши сны прокручиваются у нас в мозгу не «в прямом эфире», а формируются буквально «за секунду до пробуждения», а то и достраиваются после пробуждения. Я далёк от этой темы (интересно, но не представляю возможным в ней разобраться — жизнь слишком коротка), и мне эта «устаревшая» гипотеза наоборот казалась доминирующей.
В рубрике про книги интервью с автором «Faut-il encore décider ?» - насколько реально переложить принятие решений на ИИ, и если да, то каких решений? Очевидный пример с медициной, где уже давно научились различать принятие решения от ответственности за принятие решения — ИИ может принимать решение, но ответственность несёт врач. И автор книги призывает не к тому, чтобы врач проверял каждое решение ИИ (он чётко говорит, что это привело бы к ухудшению результата), а чтобы врач контролировал ИИ, постоянно проверял, что ИИ всё ещё можно доверять. Интересный подход!
Другой очевидный пример: правосудие. Нас (общество) там интересует не только результат, но и процесс. Представьте себе, говорит, что вместо суда над убийцей (приводят пример недавнего процесса над разжигателями ненависти, приведшей к убийству Самюэля Пати). Очевидно, что если бы у нас был очень качественный ИИ с кнопкой «прочитать все документы и вынести вердикт», и даже если бы этот вердикт в точности совпал бы с тем, что в итоге решили судьи, — обществу нужен не только вердикт, ему нужен процесс, обсуждение, дискуссия.
Среди того, что мешает сегодня обществу перекладывать всё больше и больше решений на ИИ, автор называет отсутствие обсуждения алгоритмов. Вот взять ParcourSup (что-то типа «распределительной шляпы» во французской системе образования, когда выпускники пишут, куда бы они хотели поступить, ВУЗы пишут, кого бы они хотели принять, а алгоритм крутит-вертит и выдаёт, кто куда поступил). Это несомненный прогресс с точки зрения эффективности — и времени люди тратят меньше, и результат в общем получается лучше, какую бы объективную меру результата мы ни выбрали. И даже сам алгоритм публичный. Но при этом в обществе устойчивое отторжение, потому что мало кто затрудняет себя хотя бы попытаться разобраться в том, как на самом деле работает этот алгоритм, да и власти, принявшие решение о его введении, не занимались общественным обсуждением.
А ещё интересная тема о том, как уже сегодня можно использовать генеративные ИИ. Понятно, что отдавать им принятие решений ещё рано, если вообще когда-то будет возможно. Но зато можно использовать их в качестве критика собственных идей, «адвоката дьявола». Понять, насколько мы способны защитить собственные идеи хотя бы перед критикой ИИ — ну или обнаружить дырку в собственных рассуждениях.
no subject
Date: 2026-05-12 11:32 am (UTC)no subject
Date: 2026-05-12 11:58 am (UTC)no subject
Date: 2026-05-12 07:55 pm (UTC)С ИИ мы тоже имеем дело с фигней, которая контролируется другими. Мало что модели меняются на ходу, там есть еще куча степеней свободы которые крутят владельцы сервиса. Слышали, может, как Antropic подкрутили токенизатор и при прочих равных задачи стали жрать вдвое больше токенов? Это чисто LLM, а в современных AI-приложениях, где есть агенты, таких слоев много.
То есть если по-серьезному (а по другому смысла нет) заморочится с проверяемостью, то все довольно сложно. Вендор AI может понять, что его проверяют, и подкрутить ответ; более того это может сделать и сам AI. Да и как его проверять, написать набор автотестов? они утекут в сеть через неделю и новая модель будет их проходить со 100% результатом. Или с 86% результатом если разработчики решат что 100% это overfit.
no subject
Date: 2026-05-12 08:12 pm (UTC)Да. Причём регулярно дописывать тесты.
> они утекут в сеть через неделю
Не публиковать [некоторые] тесты.
А если тесты утекли - дописать новые тесты.
no subject
Date: 2026-05-12 08:21 pm (UTC)no subject
Date: 2026-05-12 08:43 pm (UTC)Почему это проще?
Обычно, тесты написать и дописывать - намного проще, чем контролировать всю систему.
> Контролировать, на каких данных и какими алгоритмами обучалась каждая новая система.
Такой контроль (данных и алгоритмов) - совершенно не гарантирует правильности работы системы.
Тесты дают более качественную гарантию.
no subject
Date: 2026-05-12 11:32 pm (UTC)А уж с LLM все кратно хуже.
Обучение с нуля почти не используется, новые модели получают дистилляцией предыдущих, и как оказалось дистилляция не вполне дистилляция: https://alignment.anthropic.com/2025/subliminal-learning/
no subject
Date: 2026-05-13 07:16 am (UTC)no subject
Date: 2026-05-13 08:56 am (UTC)no subject
Date: 2026-05-12 08:18 pm (UTC)no subject
Date: 2026-05-12 11:50 pm (UTC)А с медициной -- чисто практически, это же значит что Минздрав должен обрести компетенции, чтобы проконтролировать всю цепочку от компиляции до обучения и хостинга. Даже если речь просто о том, чтобы написать требования к сертификации.
А еще теоретические проблемы с тем чтобы объяснить путь принятия решения.
no subject
Date: 2026-05-13 07:18 am (UTC)no subject
Date: 2026-05-13 08:54 am (UTC)Проверять надо не только и не столько математику, сколько реализацию и всю цепочку реальную принятия решения -- вот тут у нас пришли даные N человек, отсюда вышли их результаты.
no subject
Date: 2026-05-13 07:20 am (UTC)no subject
Date: 2026-05-12 08:09 pm (UTC)Так ИИ ведь вполне может объяснить как именно ИИ пришел к своему вердикту.
И в дискуссии ИИ тоже может участвовать.
no subject
Date: 2026-05-12 08:20 pm (UTC)no subject
Date: 2026-05-12 08:46 pm (UTC)Это же два сильно разных утверждения.