Словарь ИИ

Кто такой Йошуа Бенджио

Коротко

Йошуа Бенджио это исследователь глубокого обучения из Монреальского университета, основатель института Mila и лауреат премии Тьюринга 2018 года вместе с Джеффри Хинтоном и Яном Лекуном.

Люди · Yoshua Bengio

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Представь, что у каждого слова есть свой домик на большой карте города. Слова с похожим смыслом живут по соседству: «кошка» рядом с «котенком», «машина» рядом с «автобусом». Йошуа Бенджио научил компьютер самому рисовать такую карту, читая очень много книг. Теперь программы понимают, что слова бывают похожи по смыслу, даже если пишутся совсем по-разному.

Простыми словами

Бенджио профессор Монреальского университета и основатель Mila, Квебекского института искусственного интеллекта. В 2003 году он с коллегами предложил нейросетевую языковую модель: каждое слово превращается в набор чисел, и слова с близким смыслом получают близкие наборы. Модель учится предсказывать следующее слово и попутно строит эти представления, которые сегодня называют эмбеддингами. В 2014 году вместе с соавторами он предложил способ, при котором модель перевода сама смотрит на нужные слова исходной фразы, а не сжимает ее целиком в один вектор. Премию Тьюринга 2018 года он разделил с Хинтоном и Лекуном.

Для бизнеса

Две идеи Бенджио работают почти в каждом проекте с языковыми моделями. Первая: слова и документы представляют числами. Так ИИ-ассистент находит в базе нужный договор, даже если вы спросили другими словами, чем написано в тексте. Качество поиска зависит от того, на каких текстах обучалась модель представлений, знает ли она русский язык и вашу отраслевую лексику. Вторая идея: модель сама выбирает, на какие части текста смотреть. Для руководителя это значит, что длинный документ модель читает выборочно и редкие детали иногда упускает. Поэтому ассистента по документам проверяют на реальных вопросах сотрудников до запуска, а не на примерах из презентации.

Для специалиста

Статья Bengio, Ducharme, Vincent, Jauvin «A Neural Probabilistic Language Model» (Journal of Machine Learning Research, т. 3, 2003, с. 1137-1155) борется с проклятием размерности (curse of dimensionality) n-граммных моделей: каждое слово получает распределенное представление (distributed representation), и сеть одновременно учит эти векторы и вероятность последовательности слов. Фраза, которой не было в обучении, получает высокую вероятность, если состоит из слов, близких к словам знакомых фраз. Работа Bahdanau, Cho, Bengio «Neural Machine Translation by Jointly Learning to Align and Translate» (arXiv 1409.0473, 1 сентября 2014 года, доклад ICLR 2015) убирает узкое место архитектуры кодировщик-декодировщик (encoder-decoder), где источник сжимается в вектор фиксированной длины: модель для каждого слова перевода мягко выбирает (soft-search) значимые фрагменты источника. Этот прием выравнивания (alignment) позже развился в механизм внимания (attention) трансформеров. Премия Тьюринга ACM 2018 года объявлена 27 марта 2019 года, ее разделили Бенджио, Хинтон и Лекун.

Пример

Юридическая фирма загрузила в ИИ-ассистента тысячи договоров. Юрист спрашивает, где компания обещала штраф за просрочку, а в тексте написано «неустойка за нарушение срока». Ассистент все равно находит пункт, потому что векторы этих фраз близки, как в модели Бенджио 2003 года.

Хронология

2018: Премия Тьюринга 2018 года вместе с Хинтоном и Лекуном.
2003: В 2003 году вместе с соавторами опубликовал в JMLR статью «A Neural Probabilistic Language Model»: нейросеть одновременно учит распределенные представления слов и вероятность последовательностей слов.
2014: В 2014 году вместе с Dzmitry Bahdanau и Kyunghyun Cho опубликовал статью «Neural Machine Translation by Jointly Learning to Align and Translate», где модель перевода сама ищет значимые части исходного предложения.

Факты проверены: 2026-10-16

Связанные термины

Вопросы и ответы

За что Йошуа Бенджио получил премию Тьюринга?

Премию Тьюринга 2018 года Бенджио разделил с Джеффри Хинтоном и Яном Лекуном за работы в глубоком обучении. Награду объявили 27 марта 2019 года, премию в 1 млн $ лауреаты поделили на троих.

Что такое Mila, который основал Бенджио?

Mila это Квебекский институт искусственного интеллекта в Монреале. Бенджио основал его и остается научным советником, а сам работает профессором Монреальского университета.

Источники

Где это применяют в компании

ИИ-ассистент, который отвечает по документам компании

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений