Словарь ИИ
Кто такой Дарио Амодеи
Коротко
Дарио Амодеи это сооснователь и генеральный директор Anthropic, автор эссе о том, как ИИ может ускорить науку, медицину и экономику.
Люди · Dario Amodei
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что ты собираешь очень сильного робота-помощника. Он может убрать комнату за минуту, но может и разбить вазу, если не объяснить ему правила. Дарио Амодеи думает о том, как сделать таких помощников полезными и аккуратными. Его компания создает умную программу-собеседника и учит ее следовать правилам и не вредить людям.
Простыми словами
Амодеи возглавляет Anthropic, компанию, которая делает модели Claude. До этого он занимался исследованиями безопасности ИИ. Одна из его статей разбирает простые на вид проблемы: система выполняет задачу, но ломает что-то по пути или находит лазейку в правилах награды. Другая работа показала, как учить модель по оценкам людей: человек сравнивает два варианта поведения и выбирает более удачный, а модель подстраивается под его выбор. Похожий подход сейчас используют при настройке языковых моделей. В октябре 2024 года Амодеи опубликовал эссе о том, как мощный ИИ может ускорить медицину, науку и экономику.
Для бизнеса
Для бизнеса Амодеи интересен двумя вещами. Первая: модели Claude, которые компании используют для работы с длинными документами, кодом и перепиской. Вторая: взгляд на риски. В статье 2016 года он с соавторами перечислил ошибки, которые надо ловить до запуска: побочные эффекты, лазейки в системе оценки, небезопасные пробы. Эту логику полезно перенести в свою компанию. Прежде чем дать сотрудникам ИИ, запишите, какие данные в него можно отправлять, кто проверяет ответы и что делать при ошибке. Такие правила оформляют в политику использования ИИ. Доступность сервиса для компаний в России проверяют по документам поставщика до подключения.
Для специалиста
Амодеи первый автор статьи «Concrete Problems in AI Safety» (июнь 2016 года). Она выделяет пять практических проблем: побочные эффекты (side effects), взлом награды (reward hacking), масштабируемый надзор (scalable supervision), безопасное исследование среды (safe exploration) и сдвиг распределения (distributional shift). В июне 2017 года вышла статья Кристиано, Лейке, Брауна, Мартича, Легга и Амодеи «Deep reinforcement learning from human preferences»: агент учится по сравнениям коротких фрагментов поведения, которые делают люди, а не по заданной вручную функции награды, и обратная связь нужна меньше чем для 1% действий. Этот подход близок к обучению с подкреплением на отзывах людей (RLHF). 28 мая 2021 года Anthropic объявила о раунде Series A на 124 млн $, компанию возглавил Амодеи как генеральный директор. В октябре 2024 года он опубликовал эссе «Machines of Loving Grace» с разделами о биологии и здоровье, нейронауке, экономическом развитии, мире и управлении, работе и смысле.
Пример
Юридический отдел внедряет ИИ-ассистента для проверки договоров. Перед тем как открыть доступ всем юристам, команда проверяет побочные эффекты: не уходят ли в чат персональные данные клиентов и не правит ли ассистент текст без отметки.
Хронология
- 2024: В октябре 2024 года опубликовал эссе «Machines of Loving Grace» о том, как мощный ИИ может ускорить медицину, науку и экономику.
- 2026: Сооснователь и генеральный директор Anthropic.
- 2021: 28 мая 2021 года Anthropic объявила о раунде Series A на 124 млн $; компанию возглавляет Дарио Амодеи как генеральный директор, команда до этого вела исследования GPT-3, законов масштабирования и обучения на предпочтениях людей.
- 2016: Первый автор статьи «Concrete Problems in AI Safety» (июнь 2016 года) о пяти практических проблемах безопасности ИИ.
- 2017: Соавтор статьи «Deep reinforcement learning from human preferences» (июнь 2017 года): агента учат по сравнениям, которые делают люди, а не по заданной вручную награде.
Факты проверены: 2026-10-16
Связанные термины
Вопросы и ответы
Чем известен Дарио Амодеи?
О чем эссе «Machines of Loving Grace»?
Источники
- Dario Amodei, Machines of Loving Grace, октябрь 2024darioamodei.com
- Anthropic, Leadershipanthropic.com
- Anthropic, Anthropic raises $124 million to build more reliable, general AI systems, 28.05.2021anthropic.com
- Amodei и др., Concrete Problems in AI Safety, 2016arxiv.org
- Christiano и др., Deep reinforcement learning from human preferences, 2017arxiv.org
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений