почему бывший стартап Илона Маска OpenAI предал свои идеалы — Будущее на vc.ru

Компания хотела стать первой в создании безопасного искусственного интеллекта и выбрала закрытый и коммерческий путь вместо прозрачности и объединения усилий с другими разработчиками. Своё недоверие проекту высказал Илон Маск.

9160 просмотров

За четыре года существования OpenAI стала одной из ведущих исследовательских лабораторий по разработке искусственного интеллекта.

Она сделала себе имя на больших исследованиях, как и DeepMind, принадлежащая Alphabet. OpenAI любят в Кремниевой долине, а среди основателей были Илон Маск и инвестор Сэм Альтман. При запуске стартапа в 2015 году частные инвесторы обещали вложить в компанию $1 млрд.

Логотип OpenAI в офисе MIT Technology Review

Цель OpenAI — стать первым создателем дружелюбного ИИ общего назначения (Artificial general intelligence — AGI), универсальную машину, которая обладает способностью к обучению и рассуждению.

Разработав AGI компания не стремится к мировом господству — в идеалах лаборатории обеспечить безопасное развитие технологии и равномерное распределение её возможностей по всему миру.

Но после трёх дней в офисе OpenAI и почти 30 интервью с бывшими и нынешними сотрудниками, их друзьями и экспертами появился другой взгляд на то, чем занимается и как себя ведёт организация, пишет журналистка MIT Technology Review Карен Хао.

По её мнению, есть несоответствие между публичностью OpenAI и тем, как она работает за закрытыми дверями: при всех благородных мотивах амбиции компании вынудили её создать закрытое подразделение с коммерческими исследованиями, усилить конкуренцию и всё меньше быть открытой, дружелюбной и прозрачной.

Почему OpenAI позиционировала себя открытой и дружелюбной

AGI — универсальная «машина результатов», которая получает определённую задачу и с помощью сенсоров и управляющих элементов выполняет её.

ИИ общего назначения может считаться система, которая справится с любой задачей: от управления беспилотником и ядерным реактором до продажи товаров и написания текстов.

MIT Technology Review пишет, что AGI может легко выйти из-под контроля, если развитие технологии будет идти по пути наименьшего сопротивления: алгоритмы могут быть предвзяты и ненадёжны, а большая стоимость разработки может сконцентрировать власть в руках узкой группы людей.

Поэтому создание и распространение AGI может привести к катастрофическим последствиям без осторожного управления доброжелательными создателями.

OpenAI хотела быть этим доброжелательным создателем, и тщательно разрабатывала свой имидж и старалась соответствовать ему.

Например, в области ИИ, где доминируют крупнейшие технологические корпорации, лаборатория OpenAI была некоммерческой — по словам основателей, чтобы создавать ценность для всех, а не только акционеров.

Для OpenAI настолько важно, чтобы AGI был безопасен для общества, что если бы другая компания приблизилась к завершению его разработки, OpenAI не конкурировала бы с ней, а объединила усилия.

Такой добродетельный имидж и заявления компании привлекали внимание СМИ и инвесторов.

Компания заявляла, что миру необходима научно-исследовательская лаборатория, которая может расставить приоритеты, исходя из интересов общества, а не собственных интересов.

Сотрудникам было рекомендовано публиковать свои работы в формате статей, публикаций в блогах и открытого кода, а патенты OpenAI обещала распространять по всему миру. Подтекст был прост: другие лаборатории, такие как DeepMind, не могли служить человечеству, потому что ограничены коммерческими интересами.

Пока они были закрытыми, OpenAI была бы открытой.

От добродетеля к коммерции

Бывший технический директор платежной системы Stripe Грэг Брокман пришёл на аналогичную должность в OpenAI. Директором по исследованиям стал Илья Сукцевер, ученик «пионера ИИ» Джеффри Хинтона, а семь исследователей были набраны из лучших технологических университетов и компаний.

Грэг Брокман Coindesk

Также к OpenAI присоединился исследователь Иэн Гудфеллоу, автор моделей генеративных сетей, книг по глубокому обучению и сотрудник лаборатории Google Brain.

Команда была небольшой, формировалась через связи друг с другом, а руководство оставалось свободным и неформальным. OpenAI верила в «плоскую структуру», где любая идея или обсуждение будут приветствоваться всеми.

Но неформальность привела к неопределённости развития. В мае 2016 года к Альтману и Брокману приехал исследователь Google Дарио Амодей и заявил, что никто не понимает, чем занимается OpenAI. Позже он вместе с женой присоединился к команде OpenAI.

Более того, было неясно, понимает ли сама команда свои задачи, признаётся Брокман: «Мы начали с ничего. У нас просто был идеал — дружелюбный AGI».

В формировании видения OpenAI большую роль сыграл Илон Маск, отмечает профессор Калифорнийского университета Питер Аббил, который в первые два года основания компании работал там со своими учениками.

Маск предполагал, что создание AGI возможно на 0,1–1% в ближайшие пять-десять лет, и просил задуматься об этом, что мотивировало людей, говорит Аббил.

В 2016 году глава Nvidia Дженсен Хуан привёз OpenAI суперкомпьютер, его встретил Илон Маск Nvidia

К марту 2017 года, спустя 15 месяцев после основания OpenAI, руководство поняло, что пришло время сфокусироваться на разработке ИИ. Брокман и несколько других членов команды начали составлять внутренний документ, следуя которому будет разрабатываться AGI.

Но в процессе выявился недостаток: команда изучила возможности и поняла, что оставаться некоммерческой организаций нецелесообразно с финансовой точки зрения. Вычислительные ресурсы, которые использовали другие исследователи в области ИИ для достижения прорывных результатов, удваивались каждые три-четыре месяца.

Брокману стало ясно: команде нужно достаточно денег, чтобы разработки оставались актуальными — соответствовали росту вычислительной мощности или превосходили её.

Для этого потребовалась новая организационная модель, которая могла бы быстро получать деньги, но при этом соответствовать идеалам миссии OpenAI.

Команда OpenAI ​MIT Technology Review

Без ведома общественности и большинства сотрудников OpenAI выпустила обновлённый устав в апреле 2018 года. В документе были сформулированы основные ценности лаборатории, но формулировки были более расплывчатые — они отражали новую реальность, в которой OpenAI становилась коммерческой.

Кроме обязательства избегать чрезмерного использования ИИ или AGI, которые могут нанести вред человечеству, или сосредоточить власть в одних руках, OpenAI подчеркнула необходимость в деньгах.

«Мы ждём, что для выполнения нашей миссии нам потребуются значительные ресурсы. Но мы всегда будем действовать так, чтобы свести к минимуму конфликты интересов среди сотрудников и заинтересованных сторон, которые могут поставить под угрозу выгоду общественности», — говорилось в документе.

Изменение структуры произошло в марте 2019 года. OpenAI лишилась статуса некоммерческой организации. Она открыла коммерческое подразделение OpenAI LP, в котором установило для инвесторов возможность получить ограниченную 100-кратную прибыль от их вложений.

Коммерческой структурой управлял тот же совет директоров, что и у материнской некоммерческой лаборатории.

Вскоре после этого OpenAI объявила о получении инвестиций в размере $1 млрд от Microsoft, при этом не разъяснив, какая часть инвестиций в денежной форме, а какая — в деньгах на счете облачной платформы Microsoft Azure.

Гендиректор OpenAI Сэм Альтман и глава Microsoft Сатья Наделла Microsoft​

Шаг с 100-кратным возвратом инвестиций вызвал волну критики. Например, на форуме Hacker News пользователи задались вопросом, можно ли ограничить стократное ограничение.

Ранние инвесторы в Google получили примерно 20-кратную прибыль, вы заявляете, что создадите корпоративную структуру, которая вернёт на порядок больше денег, чем Google, но при этом не хотите «чрезмерно концентрировать власть». Как это сработает? Что такое власть, если не концентрация ресурсов?

Как вы сможете заработать достаточно денег, чтобы вернуть инвестиции в большем размере, чем любая другая компания, при этом без конфликта интересов между сотрудниками и заинтересованными сторонами? Самые ценные компании в мире в то же время одни из самых спорных — взгляните на Facebook, Amazon и Google.

из обсуждения Hacker News

В ответ на это Брокман заявил, что если OpenAI создаст AGI, то сможет заработать больше, чем любая существующая компания.

Изменения также напугали сотрудников, которые выразили аналогичные опасения. Чтобы успокоить их, руководство написало памятку, в которой, например, утвердительно ответила на вопрос «Могу ли я доверять OpenAI» с большим разъяснением.

Устав OpenAI больше похож на религиозные писания, которое объясняет каждый аспект существования компании и заставляет безоговорочно следовать ему, отмечает журналистка MIT Technology Review.

Например, руководство ссылается на устав, когда отвечает, как OpenAI будет конкурировать за то, чтобы первой создать безопасный AGI, или равномерно распределять его возможности в обществе: «Наш лучший шанс (быть первыми) — это то, что есть в уставе».

Жёсткая привязка к документу работает: все сотрудники объединены общей целью с единой культурой и относятся к исследованиям ИИ не просто как к работе. Они постоянно разговаривают о работе, даже во время обеда, ходят на одни и те же мероприятия, изучают философию «эффективного альтруизма» и шутя описывают свою жизнь терминами искусственного интеллекта.

Но в середине 2019 года, вскоре после перехода к коммерческой основе, руководство ввело новую структуру оплаты труда, частично основанную на «миссии сотрудника». Кроме пунктов «инженерная экспертиза» и «направление исследований», в таблице карьерной лестницы появилась колонка «уровней» сотрудника , связанная с уставом.

Для достижения третьего уровня нужно «понимать и усваивать устав OpenAI», на пятом уровне — «гарантировать, что все личные проекты и проекты коллег соответствуют уставу», а на седьмом — «нести ответственность за соблюдение и улучшение устава, а также за то, чтобы другие члены организации тоже несли за это ответственность».

Неудачный запуск и критика генератора текстов GPT-2

14 февраля 2019 года OpenAI объявила о создании модели GPT-2, которая может генерировать качественные эссе и тексты с помощью одного вступительного предложения. Исследователи лаборатории заявили, что GPT-2 слишком опасна, чтобы её выпускать, назвав её силой, которую легко использовать для дезинформации в огромных масштабах.

Двусмысленное заявление вызвало критику учёных, часть которых заявила, что GPT-2 лишь рекламный ход: модель либо недостаточно развита, чтобы представлять угрозу, либо заявление OpenAI о существовании мощной модели и препятствование общественному контролю бессмысленно.

«Казалось, что OpenAI пытается извлечь выгоду из паники вокруг ИИ», — заявил доцент Рутгерского университета, Бритт Пэрис, изучающий дезинформацию, сгенерированную ИИ.

Демонстрация OpenAI GPT-2

В мае 2019 года OpenAI пересмотрела позицию и объявила о планах «поэтапного релиза». Стартап в течение нескольких месяцев публиковал всё более мощные версии GPT-2 и сотрудничал с исследовательскими лабораториями, чтобы изучить возможности злоупотребления алгоритмами и разработать контрмеры.

В ноябре 2019 года OpenAI опубликовала полную версию GPT-2, заявив, что нет веских доказательств злоупотреблений, а анонс не был рекламным ходом.

По словам представителей лаборатории, это был тщательно продуманный эксперимент, согласованный после внутренних обсуждений — и если даже они перегнули палку, это создало бы прецедент для более опасных исследований.

Более того, в уставе предсказывалось, что соображения безопасности постепенно вынудят лабораторию сократить традиционные публикации в будущем.

Тем не менее принцип анонса и распространения GPT-2, а также объяснения в блоге о безопасности не убедили научное сообщество: по мнению критиков OpenAI, компания преувеличивает шум вокруг своей деятельности и интерпретирует результаты в свою пользу до полного искажения.

Более того, ИИ-сообщество связало изначальную закрытость GPT-2 с переходом OpenAI на коммерческую основу и предположило, что таким образом компания хочет сохранить в тайне технологию, чтобы впоследствии лицензировать её.

По этим причинам многие ученые в области ИИ решили держаться подальше от компании, заявляет MIT Technology Review.

Во внутренних документах лаборатории указано, что OpenAI должна рассматриваться как самый перспективный проект в области машинного обучения и создания AGI, чтобы влиять на политику на государственном уровне, а для этого нужна широкая поддержка со стороны научного сообщества.

Из-за скандала с GPT-2 в OpenAI начались внутренние обсуждения, как исправить положение, так как внешняя критика привела к потере доверия сотрудников и проблемам с наймом лучших на рынке специалистов. Для решения проблемы компания решила изменить тон и формат публикаций и относиться к научному сообществу как к заинтересованной стороне.

Повышенная секретность, закрытые исследования и новый проект OpenAI

Существует две теории о том, как можно создать AGI, пишет MIT Technology Review. В одной из них все необходимые методы уже существуют и нужно просто выяснить, как их собрать и масштабировать. В другой есть мнение, что для AGI нужно придумать совершенно новую парадигму (мышления ИИ), а основной на данный момент технологии глубокого обучения будет недостаточно.

Большинство исследователей колеблются между этими вариантами, но OpenAI уже сделала свой выбор — большинство её научных прорывов получены благодаря использованию больших вычислительных мощностей в технических инновациях, разработанных другими лабораториями.

Брокман и другие сотрудники отрицают, что это единственная стратегия OpenAI, но исследования лаборатории говорят об обратном.

Команда OpenAI под названием «Предвидение» проводит эксперименты, с помощью которых проверяет, насколько сильно они могут улучшить возможности ИИ, обучая существующие алгоритмы всё большим объёмом данных и увеличивая вычислительную мощность.

Результаты экспериментов подтвердили идею руководства, что лучшая стратегия — наращивать вычислительную мощность в уже существующих технологий, а не разрабатывать что-то принципиально новое.

Команда OpenAI и команда по Dota 2 OG — на соревнованиях ИИ против киберспортсменов

OpenAI скрывала результаты от общественности на протяжении полугода, так как считала их своим основным конкурентным преимуществом, пишет MIT Technology Review. Сотрудникам и стажёрам было дано указание не раскрывать их, а тем, кто уволился, нужно было подписать соглашение о неразглашении.

Только в январе 2020 года команда «без шума» (как OpenAI обычно делает) опубликовала статью в одной из открытых баз данных об исследованиях ИИ. При этом похожая статья со схожими результатами была опубликована другими исследователям несколькими месяцами ранее, отмечает издание.

Такой уровень секретности в лаборатории не был намерением, но стал привычным, так как руководство отошло от первоначальной веры в то, что открытость — лучший способ создать полезный ИИ общего назначения.

Теперь внутри OpenAI важна тишина, например, сотрудникам запрещено общаться с журналистами без разрешения группы по связям с общественностью, а за скрытность хвалят.

Журналистка MIT Technology Review после нескольких разговоров с сотрудниками получила письмо от начальника отдела по связям с общественностью, в котором было указано, что все запросы должны проходить через него, а сотрудники должны были информировать о разговоре и его темах.

В ответ на обвинения MIT Technology Review в повышенной секретности представитель OpenAI сослался на устав, использовав трактовку о «сокращении публикаций из-за возможных проблем с безопасностью». Он объяснил, что каждая публикация OpenAI проходит через проверку на информационные риски, а результаты публикуются с задержкой, чтобы понять потенциальные риски и последствия исследований.

Один из самых больших секретов OpenAI — их новый проект, который, по словам источников MIT Technology Review, станет «кульминацией предыдущих четырех лет исследований».

Это система искусственного интеллекта, обученная на изображениях, тексте и других данных с использованием огромных вычислительных ресурсов. По мнению руководства, это самый перспективный способ достижения AGI.

Другие трудности OpenAI: стратегия развития и вопрос распределения технологий

За развитие OpenAI отвечает директор по исследованиям — бывший сотрудник Google Дарио Амодей. По его словам, стратегия лаборатории делится на две части.

Дарио Амодей MIT Technology Review

В первой части лаборатория изучает, как можно расширить возможности ИИ — он называет её «инвестиционным портфелем».

OpenAI выделяет деньги командам для изучения разных направлений развития: например, языковая команда проверяет теорию, по которой ИИ может лучше понимать мир через изучение языков. Команда робототехники, напротив, считает, что для развития ИИ нужно физическое воплощение, и проверяет гипотезу.

Как и в портфеле инвестора, каждое направление имеет свой вес, но в целях научной строгости любую теорию нужно тщательно проверить, прежде чем отказаться от неё. Например, несмотря на первоначальный скепсис о GPT-2 с генерируемыми реалистичными текстами, это направление может считаться многообещающим.

По мере того, как будет меняться приоритет направлений, в перспективные будет направлено больше инвестиций и сотрудников, а оставшиеся будут пересекаться и объединяться. Конечная цель эксперимента — по мере объединения команд создать единое техническое направление для создания AGI, и этот процесс уже начался в последнем секретном проекте OpenAI.

Робот OpenAI собирает кубик Рубика

Вторая часть стратегии посвящена тому, как обезопасить постоянно развивающийся ИИ. Это включает в себя отражение в ИИ человеческих ценностей, объяснение логики своих решений и возможность обучаться, не причиняя вред людям в процессе принятия решений.

Для каждой цели есть отдельная команда разработчиков методов, которые можно будет интегрировать в проекты по мере их развития. Например, объяснение логики решений может быть использовано для раскрытия способов формулировки предложений в GPT-2 или движений робота.

Амодей признает, что часть стратегии бессистемна и построена больше не на теориях, а на интуитивных предположениях.

Мы находимся в неловком положении, так как не знаем, как может выглядеть полезный ИИ и когда он появится. Разум любого человека ограничен, лучшее, что я могу сделать, — нанять других исследователей, мысли которых отличаются от того, что я могу придумать.

Дарио Амодей

директор по исследованиям OpenAI

Ещё одна проблема — неясно, как компания планирует «распределять ценности AGI всему человечеству», основную миссию, которую цитирует Брокман. В основном руководство лаборатории говорит в обтекаемых терминах и предпринимает мало конкретных действий.

​Подразделение робототехники OpenAI

В январе 2020 года Институт будущего человечества в Оксфордском университете опубликовал совместный с OpenAI доклад, в котором предлагалось распределять «ценности» через распределение части прибыли.

Но при этом авторы ссылались на «существенные нерешенные вопросы, касающиеся того, как это будет реализовано». Для некоторых бывших сотрудников недосказанность стала самой большой проблемой OpenAI.

«OpenAI использует сложные технические приёмы, чтобы заявить о решении социальных проблем, связанных с ИИ, но у неё нет возможности понять их. OpenAI считает, что это выгодное место для своего позиционирования», — говорит представитель Ратгерского университета Бритт Пэрис.

Брокман согласен, что для выполнения миссии OpenAI потребуются как техническая, так и социальная экспертизы. Но он не согласен, что социальные вопросы должны решаться с самого начала: «Сначала нужно понять, как будет выглядеть AGI, а затем настанет время убедиться, что мы понимаем последствия».

Быть быстрее всех

В разговоре с сотрудниками о стратегии на 2020 год Альтман ясно дал понять: OpenAI нужно зарабатывать деньги, чтобы заниматься исследованиями, а не наоборот. По словам руководства лаборатории, это трудный и необходимый компромисс, на который пришлось пойти из-за отсутствия богатых инвесторов-филантропов.

Но на компромисс пришлось пойти не только потому что у OpenAI не хватает денег, но и из-за своих амбиций. OpenAI сделала стратегический выбор создать дружелюбный ИИ общего назначения раньше других, и из-за этого усилилось давление коммерциализации, считает MIT Technology Review.

Давление заставляет принимать решения, которые всё дальше и дальше отодвигают компанию от первоначального замысла.

Она склоняется к шумихе, чтобы привлечь инвестиции и таланты, защищает свои исследования в надежде сохранить превосходство и выбрала сложную стратегию по наращиванию вычислительной мощности — не потому что считает её единственно верной, а потому что она кажется самой быстрой на пути к цели.

Тем не менее в OpenAI по-прежнему занимаются передовыми исследованиями талантливые учёные, мечтающие работать на благо человечества. У неё есть самые важные компоненты и ещё есть время измениться, заключает MIT Technology Review.

Илон Маск вышел из совета директоров OpenAI в феврале 2018 года из-за возможного конфликта интересов с Tesla, использующей машинное обучение для создания автопилота.

Он прокомментировал материал MIT Technology Review в Twitter и заявил, что теперь не имеет контроля в компании, а его понимание действий руководства ограничено. Маск отметил, что любой разработчик искусственного интеллекта, включая Tesla, должен находиться под внешним контролем.

По моему мнению, OpenAI должна быть более открытой.

Все организации, которые разрабатывают продвинутый ИИ должны быть зарегулированы, включая Tesla.

Маск согласился с опасениями о смене направления и принципов OpenAI. По его словам, компания должна быть более открытой, а доверие к директору по исследованием Дарио Амодею у него невелико, когда речь идёт о создании безопасного ИИ.

Искусственный интеллект с компьютерным зрением OpenAI можно обмануть рукописными заметками

Исследователи из лаборатории OpenAI обнаружили, что их современный искусственный интеллект с функцией компьютерного зрения легко обмануть, используя для этого всего лишь блокнот и ручку. Об этом пишет The Verge.

Достаточно всего лишь приклеить бумажку с неверной подписью объекта, чтобы заставить программу неправильно идентифицировать предмет. Исследователи OpenAI назвали это явление «типографской атакой».

Это может представлять реальную опасность для систем, полагающихся на машинное зрение. Например, таким способом можно обмануть программное обеспечение в беспилотных автомобилях Tesla, чтобы они без предупреждения поменяли полосу движения. Потенциально, это также может принести серьёзную угрозу для множества приложений искусственного интеллекта, от медицинских до военных.

Но в данном случае не о чем беспокоиться, так как речь идёт об экспериментальной системе CLIP, которая пока ещё не используется ни в одном коммерческом продукте.

Новые нейросети OpenAI способны создавать изображения по запросу и определять объекты на фото

В OpenAI разработали две новые нейросети.

CLIP наглядно демонстрирует, как системы искусственного интеллекта учатся определять объекты из огромных баз данных, состоящих из множества пар изображение-текст. Исследователи OpenAI обнаружили отдельные компоненты в сети машинного обучения, которые реагируют не только на изображения объектов, но также на эскизы, рисунки и связанный с ними текст. Они назвали это «мультимодальными нейронами». Согласно исследованиям OpenAI, системы искусственного интеллекта усваивают знания таким же способом, как это делают люди.

В будущем это может привести к созданию более сложных систем технического зрения, но сейчас такие подходы находятся в зачаточном состоянии. В то время, как любой человек может отличить яблоко от листа бумаги с написанным на нем словом «яблоко», искусственный интеллект пока ещё на это не способен. Та же способность, которая позволяет программе связывать слова и изображения на абстрактном уровне, создаёт эту уникальную ошибку, которую в OpenAI назвали «заблуждением абстракции».

Ещё один пример — ошибка при распознавании копилок. ИИ реагирует не только на их изображения, но и на цепочку символов с изображением доллара. То есть, если любой предмет подписать «$$$», то CLIP определит его как копилку.

_{Заглавная фотография: Гор Хачатрян / Код Дурова}

Проект профессора ИТМО стал официальным партнером компании OpenAI, основанной Илоном Маском

Профессор ИТМО Александр Фарсеев и его коллеги получат доступ к нейросети GPT-3, которая умеет создавать контент, практически неотличимый от творчества человека. Команда будет использовать возможности GPT-3 для улучшения рекламных алгоритмов в соцсетях.

Социальные сети являются не только местом для общения, но и крупной рекламной площадкой. Только за первые три месяца 2020 года Facebook получил от рекламы 17,44 млрд долларов. Это неудивительно, ведь соцсети позволяют найти индивидуальный подход к пользователю и давать ему информацию о тех товарах, которые ему, скорее всего, нужны.

Чтобы пользоваться этими возможностями, брендам приходится постоянно создавать новые рекламные тексты. Более того, необходимо делать разные варианты публикаций об одном и том же товаре для отдельных групп пользователей. Это требует от компаний больших усилий и больших затрат.

«Бренды тратят огромные ресурсы на креативные команды, которые занимаются написанием текстов, маркетологи хотят менять контент каждые три-четыре дня, при этом он должен быть разным. Это большие усилия, которые не всегда оправдываются. Только в Facebook в прошлом году было потрачено более 15 млрд долларов на неэффективную рекламу», — рассказывает руководитель Media Research Group лаборатории машинного обучения Университета ИТМО Александр Фарсеев.

Источник: shutterstock.com

Александр Фарсеев развил наработки лаборатории машинного обучения для создания проекта SoMin.AI, которая использует искусственный интеллект в маркетинге. Компания вошла в программу акселератора Университета ИТМО. Сейчас она работает над генератором рекламного контента для соцсетей. В 2021 году команде удалось заключить соглашение с OpenAI. Американская компания была основана в 2015 году при участии Илона Маска для того, чтобы разрабатывать новые технологии искусственного интеллекта.

«Они изначально были исследовательской группой, затем стали монетизировать свои решения, — рассказывает Александр Фарсеев. — Одной из наиболее известных их разработок является модель искусственного интеллекта третьего поколения GPT-3 с миллиардами параметров. Особенно хорошо она научилась генерировать текстовый контент, практически как человек. Было несколько статей о GPT-3, которые вы читали и только в конце узнавали, что ее написала сама GPT-3. То есть современный искусственный интеллект дошел до того, что может генерировать контент с таким же качеством, что и человек».

GTP-3 написала несколько вариантов эссе о том, почему люди не должны бояться роботов. Из них был скомпилирован текст, который опубликовала The Guardian. В конце 2020 биолог Александр Панчин опубликовал свою беседу с GPT-3, посвященную таким темам, как смысл жизни, лженаука и старение.

GPT-3 от OpenAI. Источник: medium.com

Доступом к GPT-3 располагает ограниченное число компаний и исследовательских университетов. Все они имеют возможность использовать нейросеть для своих проектов, которые проходят жесткий отбор. После этого ученые и бизнесмены могут применять творение OpenAI для своих целей, в обмен предоставляя разработчику обратную связь и данные своих исследований. SoMin.AI будет адаптировать GPT-3 для генерации рекламного контента.

«Маркетологи смогут создавать только изначальную версию контента, а модели GPT-3 будет создавать на ее основе сотни вариантов, предназначенных для конкретных категорий пользователей и для постоянного обновления рекламных публикаций, — уточняет Александр Фарсеев. — Для этого алгоритмы будут адаптированы лабораторией машинного обучения ИТМО и SoMin. AI. Имея такое количество контента, Facebook или Google смогут проверять, кому конкретно тот или иной вариант понравится. Это сделает рекламу более эффективной. Команде OpenAI понравилось наше предложение, они нам дали доступ к GPT-3. Сейчас мы все тестируем и в ближайший месяц будем выпускать первую коммерческую бета-версию продукта».

SoMin.AI. Источник: somin.ai

Работа с OpenAI является не только частью коммерческого проекта SoMin.AI, но и должна помочь в исследованиях лаборатории машинного обучения Университета ИТМО. В частности, сейчас с нейросетью работают студенты и сотрудники Первого неклассического.

Также сам проект, предложенный OpenAI, имеет в своей основе научные разработки команды Университета ИТМО ― сотрудники вуза вместе с коллегами из Сингапура представили эти работы на одной из ведущих конференций WSDM и опубликовали статью о персональной генерации контента.

Перейти к содержанию

OpenAI — SkyNet от Илона Маска.

Разбор

Три закона робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Признайтесь, что с таким быстрым развитием технологий, разработкой квантовых компьютеров и повсеместным использованием нейронных сетей, то вы и мы в последние годы ждем уже появления SkyNet?

А может быть вы наоборот считаете, что до реального искусственного интеллекта еще так далеко и что нам, на нашем веку, можно вообще не беспокоиться. Ведь для реальной интеллектуальной деятельности машин нужны гораздо большие вычислительные мощности!

Сегодня, на примере еще одного стартапа Илона Маска, под названием OpenAI, мы с вами посмотрим насколько далеко от нас реальный SkyNet и расскажем вам о том, в каком состоянии находится разработка ИИ в принципе прямо сейчас.

Сегодня мы с вами узнаем может ли робот написать симфонию или нарисовать шедевр?

Что такое ИИ?

Для начала давайте поймем, что такое искусственный интеллект?

Согласно одному из определений — это искусственно созданная система, которая может решать творческие задачи, способна к саморазвитию, самопостроению и самоулучшению себя и себе подобных.

В принципе само понятие ИИ — это скорее философское понятие. Мы никогда не увидим громких заголовков, вроде “Изобретён Искусственный Интеллект!”, человечество будет идти к нему медленно, но уверенно.

К сожалению, нет абсолютно точного определения, что такое искусственный интеллект, но есть тест. Знаменитый тест Алана Тьюринга, который он описал в 1950 году в философском журнале Mind. Суть теста заключается в том, что человеку и компьютеру задаются различные вопросы, а третий человек слушает их ответы. Главное, что человек слушающий ответы не знает, кто именно отвечает и, если у компьютера получилось обмануть человека, то считается, что компьютер победил и прошел тест Тьюринга.

Этот тест был впервые пройден компьютером в 2014 году. Специальная программа Eugene, или Женя Густман, с использованием пяти суперкомпьютеров, смогла обмануть 33% собеседников, что превысило необходимые 30% для прохождение порога.

Кстати, тест Тьюринга работает в две стороны. Есть и обратный тест, тест на человека, и его наверняка проходил каждый смотрящий это видео — это знаменитая Captcha — Completely Automated Public Turing test to tell Computers and Humans Apart или по-русски — полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей.

И казалось бы, тест пройден, вот он искусственный интеллект, но на самом деле все гораздо сложнее.

В общем, есть два подхода к созданию ИИ:

Первый — нисходящий, считайте сверху-вниз, то есть создание, баз знаний и систем, имитирующих реальные психические процессы человека, такие как мышление, рассуждение, эмоции, творчество и так далее.
Второй, который, опять же, знаком большинству из вас: восходящий или снизу-вверх, когда изучаются нейронные сети и так называемые эволюционные вычисления. Создаются простейшие нейронные модели, сочетание которых в итоге моделирует интеллектуальное поведение.

Это и есть те самые нейронки, о которых мы уже вам раньше рассказывали! Это именно те самые нейронки, которые занимаются улучшением ваших фотографий и подбором видео в TikTok.

Основная идея в том, что в будущем, объединив множество нейронных сетей, предназначенных для разных целей, можно построить фактически самостоятельно думающий компьютер, уровень самообучаемости и знаний которого будет такой, что он будет саморазвиваться! Это и есть ИИ.

Что сейчас?

О современном состоянии ИИ сказать не просто. Ведь есть множество областей, где нейронные сети и ИИ применяются очень активно. Хорошим примером является автопилот машин Tesla!

А есть области, где только планируется начать активное внедрение, и тут можно вспомнить о медицине. Только подумайте — нейронная сеть, которая может в автоматическом режиме производить анализ результатов и давать советы по лечению, например, обработка рентгеновских снимков или анализы крови!

Вообще за последние пять лет интерес к области искусственного интеллекта вырос более чем в 3 раза, а количество стартапов только в период с 2015 до 2018 год выросло на 113 процентов.

А поскольку это очень активно развивающаяся область, то и количество ежегодных научных публикаций за последние 20 лет выросло раз в 8!

Огромным скачком стало и развитие нейронных модулей в процессорах, и рост инвестиций в эту область огромный!

В общем, вы поняли — развитие области не просто идет, оно летит вверх!

И знаете, что самое интересное? На вопрос героя Уилла Смита о том может ли робот написать симфонию, уже можно ответить — Да, может!

OpenAI

Илон Маск и еще 5 инвесторов в 2015 году организовали стартап под названием OpenAI, основная суть которого была в том, чтобы увеличить контроль над развитием и созданием ИИ.

Основатели OpenAI говорили о ней именно как о некоммерческой организации, которая не связана финансовыми обязательствами акционеров, чтобы исследователи могли сосредоточить свои силы на создании положительного воздействия ИИ на человека.

Сам Маск говорил, что считает ИИ одной из главных угроз человечества и для его лучшего контроля он активно поучаствовал в создании стартапа, который как раз занимается исследованиями в области ИИ.

«Если не можешь победить что-то — возглавь!», судя по всему именно этим они и руководствовались! И их результаты удивляют.

Вы наверное помните новость о том, что нейронная сеть обыграла команду OG, чемпионов International 2018 и 2019 годов в DOTA 2! Так вот эта нейронная сеть была создана командой OpenAI. Билл Гейтс тогда написал, что это очень важное событие, так как игра требует сложного командного взаимодействия.

Всего за время разработки OpenAI представили несколько нейронных сетей. Например, Jukebox — специальная программа, обученная на более чем 1 миллионе песен всех жанров, которая способна самостоятельно писать музыку, осмысленный текст, и даже синтезировать вокал! Так что да — и симфония, написанная машиной, уже возможна!

Только послушайте примеры! В принципе, большинство современных рэп-исполнителей больше не нужны.

А как вам нейросеть DALL·E, которая способна просто по текстовому описанию, рисовать картинки? Она способна сама понимать контекст написанного, например человек задает “a collection of glasses sitting on the table” и давайте посмотрим, что выдает нейронная сеть?

Если переводить с английского, то изначальное описание можно сформулировать двумя вариантами — первый это “набор очков на столе”, и мы видим, что нейронка рисует различные картинки, при этом есть и совсем нереалистичные. Но так же это описание можно перевести и как “набор бокалов на столе”, соответственно нейронная сеть рисует варианты и с бокалами!

Но как это стало возможным? Все благодаря специальному обучению алгоритма обработки естественного языка, под названием GPT-3. Это третья версия алгоритма представленная в 2020 году. Первая была анонсирована в 2018, для обучения которой была использована текстовая база в 5 Гигабайт, вторая версия спустя год уже изучила 40 гигабайт, а третья использовала базу в 500 ГБ текстов, данных, и 175 миллиардов различных параметров.

И такое количество данных позволяет ей делать уникальные вещи, например, понимать смысл прочитанного, писать большие структурированные тексты или, например, стихи!

Как же это работает?

На входе мы спрашиваем у программы вопрос! То есть мы фактически просим робота понять, что мы только что у него спросили и выдать нам ответ.

Алгоритму мы подаем один пример, где указываем лишь признаки и просим его предсказать, что будет дальше.

В процессе обучения будут ошибки, но внутренние алгоритмы рассчитывают ошибку в предсказании и обновляют нейронку до тех пор, пока ответ не улучшится.

И так несколько миллионов раз. Теперь представим, что наша нейронка уже обучена, то есть она уже скушала эти 500 ГБ текстов, которые взяла из книг и статей в интернете

Далее, после задания вопроса сети, начинаются сложнейшие многоуровневые преобразования. Заданные слова преобразуются в набор цифр и попадают в специальный 96-уровневый декодер, на каждом уровне этот набор чисел проходит через 1,8 миллиарда параметров для вычислений.

Чтобы было чуть более понятно — это авторегрессионная модель, то есть такая модель, которая учитывает результаты предыдущих вычислений и основывается на них на следующем кругу расчетов. И вот пройдя все эти круги в конце выдается ответ, который имеет наименьшую вероятность ошибки на основе предыдущего обучения! Далее выдается ответ.

И вы спросите а какие перспективы? Они огромные. Фактически GPT-3 способна решать любые задачи на английском языке уже сейчас. И не только…

Стоит сказать, что все совсем не так гладко с этой открытостью и светлым будущим ИИ. Дело в том, что Илон Маск покинул проект в 2019 году так как мог возникнуть конфликт интересов. И уже в 2020 году он открыто критиковал подход руководства организации в закрытости и непрозрачности, что, как мы помним, напрямую противоречит принципам заложенным в основе стартапа, да и даже в самом его названии!

А в середине 2020 года произошло что-то совсем странное. Microsoft выкупила эксклюзивные права на тот алгоритм GPT-3, что также подверглось жесткой критике со стороны Маска и сообщества.

Конечно, в самой компании заявили, что это никак не повлияет на доступ независимых разработчиков к GPT-3 через API компании, но определенно все эти новости вызывают недоверие и опасения.

Вывод

В любом случае все это развитие впечатляет. Еще пять лет назад никто и подумать не мог, что телефоны, со своими маленькими матрицами будут способны снимать астрофотографии, так как это делают современные смартфоны Pixel.

А скажите 15 лет назад кому-то, что автомобили самосто смогут самостоятельно безопасно ездить по улицам городов, на вас бы вообще как на сумасшедшего посмотрели!

Сегодня все это уже реальность с развитием нейронных технологий и искусственного интеллекта! И это только начало пути нейронных сетей.

Нам лишь остается верить, что все эти системы будут хорошо контролируемы и защищены от возможных внешних воздействий. Ведь в таких важных вопросах, которые уже непосредственно касаются жизни людей, безопасность и надежность важнее всего.

А как мы с вами знаем даже всесильные три закона робототехники, легко обходятся!

Post Views: 1 553

Освободить искусственный интеллект: OpenAI, безумный план Элона Маска

У политиков и капиталистов есть послеобеденная пятничная традиция: вываливать кучу новостей, чтобы скрыть среди них плохие. Поэтому было немного странно, что Элон Маск, основатель производящей электромобили Tesla, и Сэм Альтман, президент известного инкубатора технологий Y Combinator, представили свою новую компанию на тему искусственного интеллекта в самом конце недельной конференции по ИИ в Монреале в декабре прошлого года.

Илон Маск

Представление OpenAI

Представлению OpenAI в такой поздний час была причина. Не потому что никто не смотрел. А потому что смотрели все. Когда некоторые из самых мощных компаний в Кремниевой долине почуяли, куда ветер дует, они начали предлагать огромные суммы денег только что собранным кадрам OpenAI — исследователям искусственного интеллекта, чтобы удержать этих гениев у себя. В последнюю минуту предложения — некоторые были сделаны на самой конференции — стали настолько большими, что Маску и Альтману пришлось задержать объявление нового стартапа. «Суммы дошли до границы безумия», говорит Войцех Заремба, ученый, который присоединился к OpenAI после стажировок в Google и Facebook и был среди тех, кто получал крупные предложения в одиннадцатом часу вечера.

Сколько долларов означают «границу безумия»? Два года назад, когда рынок новейших технологий машинного обучения начал разогреваться, вице-президент Microsoft Research Питер Ли сказал, что стоимость топ-исследователей ИИ превысила стоимость топ-квотербека в Национальной футбольной лиге — и это при обычных условиях, а не когда самые именитые предприниматели Кремниевой долины пытаются переманивать лучшие таланты. Заремба говорит, что когда OpenAI собрался, ему предлагали в два-три раза больше его рыночной стоимости.

OpenAI не соответствовал этим предложениям. Но предлагал кое-что другое: возможность заниматься исследованиями, направленными исключительно на будущее, а не на продукты и квартальную прибыль, и в конечном итоге разделить большую часть — если не все — исследований между всеми, кто пожелает. Именно так: Маск, Альтман и компания намереваются раздать то, что может стать самой преобразующей технологией 21 века, и раздать ее бесплатно.

Заремба говорит, что предложения на грани безумия на самом деле его оттолкнули — несмотря на огромное уважение к таким компаниям, как Google и Facebook. Он почувствовал, что эти деньги направлялись, чтобы предотвратить создание OpenAI, и это еще больше укрепило его стремление к великодушному стартапу. «Я осознал, — говорит Заремба, — что OpenAI — это лучшее место для меня».

Чувствуете иронию в основе этой истории? Пока крупнейшие в мире технологические компании пытаются удержать своих исследователей с таким же рвением, как команды НФЛ пытаются удержать своих звездных квотербеков, сами исследователи просто хотят делиться наработками. В утонченном мире исследований ИИ самые яркие умы движимы не только циклом следующего продукты или прибылью, либо вовсе ими не одержимы. Они хотят сделать ИИ лучше, а сделать ИИ лучше невозможно, когда ты держишь свои последние наработки при себе.

На днях OpenAI выпустила первую партию программного обеспечения ИИ, инструментарий для создания систем искусственного интеллекта на базе технологии под названием «обучение с подкреплением» (reinforcement learning) — одной из ключевых технологий, которые привели к созданию AlphaGo, ИИ Google, который удивил мир своими возможностями игры в го. С помощью этого набора инструментов вы можете создавать системы, которые откроют новое поколение роботов, играют в игры Atari и да, обыгрывают чемпионов мира в го.

Все самые свежие новости из мира высоких технологий вы также можете найти в Google News.

Но игрушки — это только начало. OpenAI — это миссия на миллиард долларов, задача которой — толкнуть ИИ настолько далеко, насколько это возможно. В том, как собралась компания и каковы ее планы, можно разглядеть следующую новую волну инноваций. Мы пока не знаем, станет ли OpenAI главным двигателем этих изменений. Но силы, которые обусловили создание этого довольно необычного стартапа, показывают, что новое поколение ИИ не только изменит технологию, но и методы работы над этой технологией.

Искусственный интеллект повсюду

Кремниевая долина имеет страсть к преувеличениям. Смело звучащие заявления всегда стоит встречать с долей скептицизма. Но в области искусственного интеллекта действительно происходят изменения. Внутри таких компаний, как Google и Facebook, технологии глубокого обучения уже помогают интернет-сервисам определять лица на фотографиях, распознавать голосовые команды на смартфонах и откликаться на запросы в интернет-поиске. И эта же технология может решать много других задач в будущем. Она может помочь машинам научиться понимать естественный язык — на котором мы, люди, привыкли говорить и писать. Может помочь вывести новую породу роботов, позволить автоматам не только выполнять их задачи, но и обучаться на лету. И некоторые считают, что это в конечном итоге подарит машинам нечто вроде здравого смысла — способность мыслить по-настоящему, как человек.

И вместе с такими обещаниями рождается глубокое беспокойство. Маск и Альтман обеспокоены тем, что если люди смогут создавать ИИ, которые делает великие вещи, они смогут построить ИИ, которые творит ужасное. Они не одиноки в своих страхах. И хотя это может показаться нелогичным, Маск и Альтман также считают, что лучший способ побороть вредоносный ИИ — это не ограничивать доступ к искусственному интеллекту, а расширять его. Именно это стремление приводит к команду молодых и умных идеалистов.

OpenAI появилась однажды вечером прошлым летом в отдельной комнате Rosewood Hotel в Кремниевой долине — высококлассном городском отеле, который буквально находится в центре мира венчурных капиталистов. Элон Маск обедал с Ильей Суцкевером, который тогда работал в Google Brain, компании, занимающейся разработкой глубоких нейронных сетей — систем искусственного интеллекта, которые могут обучаться выполнять задачи, анализируя массивные объемы цифровых данных, включая распознавание фотографий и написание электронных писем, обучаясь по перепискам. Суцкевер был одним из ведущих разработчиков проекта.

Илья Суцкевер

Сэм Альтман, Y Combinator которого помог сложиться таким компаниям, как Airbnb, Dropbox и Coinbase, выступил посредником на этой встрече, собрав несколько исследователей ИИ и молодого, но опытного строителя компаний Грега Брокмана, ранее директора по технологиям в стартапе Stripe, еще одной компании Y Combinator. Это была эклектичная группа. Но у всех была цель: создать лабораторию ИИ нового типа, которая смогла бы работать вне контроля не только Google, но и всех остальных. «Лучшее, что я мог представить себе как задачу, — говорит Брокман, — это двигать человечество в сторону создания настоящего ИИ по безопасному пути».

Маск был там, поскольку давно дружит с Альтманом — и поскольку ИИ имеет решающее значение для будущего его различных предприятий, ну и для будущего в целом. Tesla нуждается в ИИ, если хочет строить самоуправляемые автомобили. SpaceX, другая компания Маска, нуждается в том, чтобы выводить с помощью ИИ людей в космос и сохранять их в целости и сохранности там. Но Маск также является одним из первых (и самых громких), кто предупреждал: однажды человечество может потерять контроль над системами, которые достаточно мощные, чтобы учиться самостоятельно.

Была проблема: очень много людей, достаточно квалифицированных, чтобы решить все эти проблемы, уже работали в Google (а еще в Microsoft, Facebook, Baidu и Twitter). И никто на том ужине не был полностью уверен, что этих исследователей получится заманить в новый стартап, даже если за ним будут Маск и Альтман. И по крайней мере один ключевой игрок был готов покинуть корабль. «Я понимал риски, — говорит Суцкевер, — но также понимал, что это будет интересно попробовать».

Как ученые выходят из тупика

Ободренный разговором с Маском, Альтманом и другими в Rosewood, Брокман вскоре решил построить лабораторию, которую они все задумали. Крепко занявшись проектом, он пригласил Йошуа Бенгио, ученого из Университета Монреаля и одного из отцов-основателей движения глубокого обучения. Два других пионера отрасли — Джефф Хинтон и Ян Лекун — работают в Google и Facebook, соответственно, но Бенгио стремился к жизни в академическом мире, где-нибудь за пределами досягаемости промышленных щупальцев. Он набросал список лучших исследователей в этой области и за несколько следующих недель Брокман связался со всеми, с кем только смог, включая нескольких других.

Многие из этих исследователей приветствовали идею, но с опаской отнесли к возможности такого прыжка. В попытке разорвать круг, Брокман выбрал десять исследователей, которых хотел видеть больше всего, и пригласил провести субботу с вином, закусками и разговорами в винной в долине Напа. Для Брокмана даже поездка в Напа была катализатором проекта. «Это недооцененный способ собирать людей вместе, особенно в те времена, когда вам некуда спешить на пути к своей цели, — говорит он. — Вам нужно туда, но также нужно поговорить». И когда они добрались до вина, эта атмосфера осталась. Как говорит Суцкевер, «вино было вторичным по отношению к беседе».

Грег Брокман

К концу дня Брокман предложил всем десятерым исследователям присоединиться к лаборатории и дал им на раздумья три недели. По истечении срока, девять были в команде. И остались в ней, несмотря на большие предложения от гигантов Кремниевой долины. «Мне сделали очень привлекательное предложение, чтобы я остался, поэтому решение было не из легких, — говорит Суцкевер о Google, его бывшем работодателе. — Наконец, я решил отправиться в OpenAI, отчасти из-за очень сильной группы людей и, конечно, по большей части из-за их миссии».

Подписывайтесь на наш канал в Яндекс Дзен. Там можно найти много всего интересного, чего нет даже на нашем сайте.

Движение глубокого обучения началось с академических кругов. И только недавно компании вроде Google, Microsoft и Facebook решили заняться этой областью, поскольку достижения в области грубой вычислительной силы сделали реальностью эти глубокие нейронные сети, не только теоретической возможностью. Люди вроде Хинтона и Лекуна ушли из академических кругов в Google и Facebook по причине огромных ресурсов в этих компаниях. Но остались тесно связаны в сотрудничестве с другими теоретиками сферы. И все же, как объясняет Лекун, исследования в области глубокого обучения требуют свободного тока идей. «Когда вы проводите исследования в секрете, — говорит он, — вы откатываетесь назад».

Как результат, крупные компании теперь имеют в распоряжении большую часть их исследований ИИ. Это серьезный козырь, особенно для Google, которая и без того давно сохраняет технологии своей онлайновой империи в секрете. Не так давно Google открыла исходный код программного движка, на котором работают ее нейронные сети. Но очень многое остается под замком в этой гонке за будущее. Брокман, Альтман и Маск стремятся продвинуть понятие открытости еще дальше, говоря о том, что не хотят иметь одну или две крупных корпорации, контролирующих будущее искусственного интеллекта.

Пределы открытости

Звучит все это прекрасно. Но при всем идеализме OpenAI, исследователи могут оказаться в тех же условиях, которые вынудили их работать на старых работах. У открытости есть свои пределы. И долгосрочное видение ИИ — не единственный интерес в этой игре. OpenAI не занимается благотворительностью. Компании Маска получат серьезную выгоду от работы стартапа, и компании, работающие на альтмановском Y Combinator, тоже. «Безусловно, имеются некоторые конкурирующие пункты, — говорит Лекун. — Это некоммерческая организация, но у нее есть тесная связь с Y Combinator. И людям будут платить за работу в этой отрасли».

По словам Брокмана, лаборатория не платит те же астрономические зарплаты, которые исследователям ИИ обеспечивали Google и Facebook. Но он также говорит, что лаборатория «хочет хорошо им платить», и предлагает компенсацию в виде опционов акций, сначала в Y Combinator, а позже, возможно, и в SpaceX (которая, в отличие от Tesla, является частной компанией).

Тем не менее Брокман настаивает, что OpenAI не предусматривает особого обращения с родственными компаниями. OpenAI — это исследовательская инициатива, а не консалтинговая фирма. И все же у идеализма OpenAI есть свои ограничения. Компания может и не открывать код всего, что производит, хотя конечной целью является все же распространение большей части произведенного, будь то научные работы или интернет-сервисы. «Работа в открытую не обязательно будет лучшим вариантом. Необходимо взлелеять идею, посмотреть, к чему она приведет, а затем опубликовать, — говорит Брокман. — Мы будем производить много открытого исходного кода. Но у нас также будет много того, что еще не готово к выпуску».

Вам будет интересно: Почему спутники Starlink стали невидимыми для человеческого глаза?

Суцкевер также добавляет, что OpenAI может зайти так далеко, что начнет патентовать часть своей работы. «В ближайшее время мы не будем ничего патентовать, — говорит Брокман. — Но мы готовы изменить тактику в долгосрочной перспективе, если посчитаем, что для мира так будет лучше». Например, OpenAI может заняться упреждающим патентованием, чтобы препятствовать другим получать патенты.

Некоторые могут усмотреть в патентах мотив к получению выгоды. Но в этом вся суть патентов.

Проблема сверхинтеллекта

Когда Маск и Альтман представили OpenAI, они также обрисовали этот проект как способ нейтрализовать угрозу злонамеренного искусственного сверхинтеллекта. Конечно, такой сверхинтеллект может вылиться из работы OpenAI, но они настаивают, что любая угроза будет смягчена тем, что технологии будут доступны всем и каждому. «Мы считаем, что намного более вероятно, что великое множество ИИ сможет остановить случайных плохих актеров», говорит Альтман.

Но далеко не все в этой сфере верят в такой исход. Ник Бостром, оксфордский философ, который как и Маск предупреждал об опасностях ИИ, указывает, что если вы делитесь исследованиями без ограничений, «плохие актеры» могут схватить их до того, как все убедятся в их безопасности. «Если у вас есть кнопка, которая делает дрянь в мире, — говорит Бостром, — вы вряд ли захотите дать к ней доступ каждому». Если же, с другой стороны, OpenAI решит придержать исследования, чтобы к ним не получили доступ плохие парни, Бостром спрашивает: а чем это будет отличаться от Google или Facebook?

Может ли искусственный интеллект однажды пойти против человека?

Он говорит, что да, некоммерческий статус OpenAI может изменить положение вещей, а может и не изменить. Реальная сила проекта, говорит он, в том, что он сможет обеспечить проверку Google и Facebook. «Он сможет уменьшить вероятность того, что сверхинтеллект будет монополизирован. Он сможет убрать одну из возможных причин, почему некоторые лица или группы получат доступ к более качественному ИИ, чем все остальные».

В одной из последних работ философ объясняет, что основной эффект инициативы вроде OpenAI — инициативы свободно делиться своими наработками — состоит в ускорении прогресса искусственного интеллекта, хотя бы в краткосрочной перспективе. И он может ускорить прогресс в долгосрочной перспективе, при условии, что будет соблюден более высокий уровень открытости, чем было бы коммерчески оптимально.

«Может быть и так, что филантропически мотивированный R&D-инвестор мог бы серьезно ускорить прогресс за счет проведения открытой научной политики», говорит он.

В начале января девять исследователей Брокмана собрались в его апартаментах в Сан-Франциско. Проект был настолько новым, что у них даже не было белых досок. (Представьте себе.) Они купили несколько в тот же день и приступили к работе.

Брокман говорит, что OpenAI начнется с изучения обучения с подкреплением, машинного способа изучения задач за счет их многократного повторения с отслеживанием того, какие методы производят лучшие результаты. Другой основной задачей является так называемое «обучение без учителя» (unsupervised learning) — создание машин, которые действительно могут самообучаться без помощи человека. Сегодня, глубокое обучение зависит от тщательно размеченных данных. Если вы хотите научить нейронную сеть распознаванию фотографий с кошками, вам нужно скормить ей определенное число примеров — и эти примеры должны быть помечены, как фотографии с котами. Такое обучение проводится при помощи людей. Но как и многие другие ученые, OpenAI планирует создавать нейронные сети, которые могут учиться без тщательного отбора данных.

Чтобы не пропустить ничего интересного из мира высоких технологий, подписывайтесь на наш новостной канал в Telegram. Там вы узнаете много нового.

«Если у вас есть действительно хорошая методика обучения без учителя, машины смогут учиться на всех знаниях в Интернете — как человек, просто глядя по сторонам — или читая книги», говорит Брокман.

Он видит в OpenAI современную инкарнацию Xerox PARC, лаборатории техноисследований, которая существовала в 1970-х годах. Как открытые и свободные исследования PARC дали толчок всему, от графических пользовательских интерфейсов и лазерной печати до объектно-ориентированного программирования, так и Брокман со своей командой хотят нырнуть в то, что раньше было в области научной фантастики. PARC принадлежала Xerox, но кормилась с рук многих других компаний, в том числе и Apple, поскольку люди вроде Стива Джобса приветствовали ее исследования. Брокман хочет, чтобы все приветствовали исследования OpenAI.

В надежде подтолкнуть эту динамику, Брокман и компания привлекли несколько других известных исследователей, включая Яна Гудфеллоу, еще одного старшего научного сотрудника из команды Google Brain. Брокман говорит, что в PARC, по сути, собрали кучу умных людей в месте и решили посмотреть, что будет. «Вам нужно общее видение без центрального контроля».

Отсутствие контроля важно для идеала. Если привлечь к коллективной цели достаточно людей, конечный результат победит все, что вы стряпали в тайне. Но если ИИ станет таким мощным, как обещалось, уравнение изменится. Нам нужны гарантии, что новообретенный ИИ будет придерживаться тех же эгалитарных идеалов, которые привели к его созданию в первую очередь. Маск, Альтман и Брокман верят в людей, в толпу. И если они окажутся правы, однажды эта толпа станет не полностью из людей.

Искусственный интеллект OpenAI обманули рукописными заметками

10 Марта, 2021, 18:01

3038

Исследователи компании OpenAI, работающие над алгоритмом GPT-3, обнаружили, что искусственный интеллект можно легко обмануть, используя для этого всего лишь блокнот и ручку. Об этом рассказало издание The Verge.

Эксперимент

Чтобы заставить программу неправильно идентифицировать предмет, ученые приклеили на объект бумажку с неверной подписью. Явление назвали «типографской атакой».

Как отметили в компании, это может представлять реальную опасность для систем, полагающихся на машинное зрение. К примеру, таким способом можно обмануть ПО в автомобилях Tesla — разместив на дороге обманчивые наклейки, электрокар сможет без предупреждения поменять полосу движения. Это также может нести серьезную угрозу для множества приложений, в которых используется искусственный интеллект.

Изображения в материале — The Verge

Однако, в данном случае не о чем беспокоиться, уточняют исследователи. Речь идет об экспериментальной системе CLIP, которая еще не используется ни в одном коммерческом продукте.

CLIP предназначен для изучения того, как системы искусственного интеллекта учатся определять объекты из баз данных, состоящих из большого количества пар изображение-текст.  Согласно исследованиям, связанным с данным алгоритмом, системы компьютерного зрения усваивают знания таким же способом, как это делают люди. В будущем это может привести к созданию более сложных систем ИИ, но сейчас такие подходы находятся на начальном этапе разработки. 

Интересно также и то, как CLIP реагирует на подписать «$$$» — если любой предмет подписать таким образом, ИИ определит его как копилку.

Напомним, ранее алгоритм GPT-3 научили писать курсовые за 20 минут.

Больше про искусственный интеллект:

Боты Open AI уже побеждают людей 5×5 — Mid or Feed — Блоги

Помните про Open AI Bot?

Того самого, который на TI7 победил Dendi, а до того, в тестовом режиме – Пайкатта, Артизи, Сумаила и прочих?

Бота отдали профессионалам для тренировки. И чем серьезнее про относились к новому челленджу, тем сильнее становился самообучающийся бот. Победы над ним стали восприниматься как чудо.

Black уничтожил бота OpenAI. Человечество в безопасности

Мы уже тогда задумались – сможет ли команда Open AI подготовить сильную команду ботов для режима 5×5?

Вот здесь можно подробнее почитать про путь, который прошел бот перед TI7:

От 1,5к MMR до победы над Артизи 10-0. Путь бота на The International 

А в особенности интересно вспомнить планы команды разработчиков.

«1 на 1 – это сложный режим, но 5 на 5 – режим титанической сложности. Мы знаем, что придется задействовать все ресурсы искусственного интеллекта, чтобы с ним справиться.

Мы начнем копировать поведение игроков на старте. В доте играется около миллиона матчей в день, реплеи хранятся на серверах Valve две недели. Мы загружали себе каждый реплей экспертного уровня с прошлого ноября, набралось уже 5,8 млн игр (каждая в среднем по 45 минут с 10 игроками). Мы использовали OpenDota, чтобы загрузить эти реплеи и задонатили им 12 тысяч долларов на поддержку проекта».

Боты уже побеждают людей. И даже бывших про

Да, это реальность.

• Боты справились с полноценной командой людей.

У стака был не самый высокий рейтинг, но боты выглядели ОЧЕНЬ сильно – закончили обе игры в пределах 15 минут.

• Боты справились с сильными игроками под руководством Blitz

Если вы не в курсе, Blitz – английский аналитик, играет в пабах топового уровня, выступал за команду Zephyr.

• Боты пока умеют играть только одной пятеркой героев: Lich, Crystal Maiden, Viper, Sniper, Necrophos

И противостоять – только такой же пятерке. Матчи проводились на зеркальных пиках.

***

Тем не менее, результат впечатляет. Боты не просто принимают верные решения: они научились действовать командно и понимают тонкости макро (захват и контроль карты). В планах разработчиков – матч  с «топовыми игроками» уже в июле. 

DALL · E: Создание изображений из текста

Прочтите код paperView

DALL · E — это версия GPT-3 с 12 миллиардами параметров, обученная генерировать изображения из текстовых описаний с использованием набора данных из пар текст-изображение. Мы обнаружили, что он обладает разнообразным набором возможностей, включая создание антропоморфных версий животных и объектов, правдоподобное комбинирование несвязанных понятий, визуализацию текста и применение преобразований к существующим изображениям.

Текстовая подсказка

Иллюстрация маленького редиса дайкон в балетной пачке, выгуливающего собаку

Изменить подсказку или просмотреть больше изображений

Текстовая подсказка

кресло в форме авокадо […]

Изменить подсказку или просмотреть больше изображений

Текстовая подсказка

витрина магазина, на которой написано слово «openai» […]

Изменить подсказку или просмотреть больше изображений

Подсказка с текстом и изображением

тот же кот вверху, что и эскиз внизу

Изменить подсказку или просмотреть больше изображений

GPT-3 показал, что язык может использоваться для указания большой нейронной сети выполнять различные задачи по генерации текста. Image GPT показал, что тот же тип нейронной сети также может использоваться для генерации изображений с высокой точностью. Мы расширяем эти результаты, чтобы показать, что манипулирование визуальными концепциями с помощью языка теперь доступно.

Обзор

Как и GPT-3, DALL · E — это языковая модель-трансформер. Он получает и текст, и изображение в виде единого потока данных, содержащего до 1280 токенов, и обучается с максимальной вероятностью генерировать все токены один за другим. Эта процедура обучения позволяет DALL · E не только генерировать изображение с нуля, но и регенерировать любую прямоугольную область существующего изображения, которая простирается до нижнего правого угла, в соответствии с текстовой подсказкой.

Мы осознаем, что работа с генеративными моделями может оказать значительное и широкое влияние на общество. В будущем мы планируем проанализировать, как модели, подобные DALL · E, связаны с социальными проблемами, такими как экономическое влияние на определенные рабочие процессы и профессии, возможность предвзятости в результатах модели и более долгосрочные этические проблемы, связанные с этой технологией.

Возможности

Мы обнаружили, что DALL · E может создавать правдоподобные образы для большого количества предложений, исследующих композиционную структуру языка.Мы проиллюстрируем это с помощью серии интерактивных визуальных элементов в следующем разделе. Образцы, показанные для каждой подписи в визуальных эффектах, получены путем взятия 32 лучших из 512 после повторного ранжирования с помощью CLIP, но мы не используем какой-либо ручной выбор вишен, кроме эскизов и отдельных изображений, которые появляются снаружи.

Управляющие атрибуты

Мы проверяем способность DALL · E изменять несколько атрибутов объекта, а также количество его появлений.

Щелкните, чтобы отредактировать текстовое приглашение или просмотреть другие изображения, созданные искусственным интеллектом

пятиугольные зеленые часы.зеленые часы в форме пятиугольника.

по всему миру

Мы обнаружили, что DALL · E может отображать знакомые объекты многоугольной формы, которые иногда маловероятны в реальном мире. Для некоторых объектов, таких как «рамка рисунка» и «тарелка», DALL · E может надежно нарисовать объект любой многоугольной формы, кроме семиугольника. Для других объектов, таких как «крышка люка» и «знак остановки», вероятность успеха DALL · E для более необычных форм, таких как «пятиугольник», значительно ниже.

Для некоторых визуальных элементов в этом посте мы обнаружили, что повторение подписи, иногда с альтернативными фразами, улучшает согласованность результатов.

куб из дикобраза. куб с текстурой дикобраза.

по всему миру

Мы обнаружили, что DALL · E может отображать текстуры различных растений, животных и других объектов на трехмерных телах. Как и в предыдущем наглядном примере, мы обнаруживаем, что повторение заголовка с альтернативной формулировкой улучшает согласованность результатов.

коллекция очков сидит на столе

по всему миру

Мы обнаружили, что DALL · E может нарисовать несколько копий объекта, когда будет предложено это сделать, но не может надежно считать более трех. Когда предлагается нарисовать существительные, у которых есть несколько значений, например «очки», «чипсы» и «чашки», он иногда рисует обе интерпретации, в зависимости от используемой формы множественного числа.

Рисование нескольких объектов

Одновременное управление несколькими объектами, их атрибутами и их пространственными отношениями представляет собой новую проблему.Например, рассмотрим фразу «ёжик в красной шляпе, желтых перчатках, синей рубашке и зеленых штанах». Чтобы правильно интерпретировать это предложение, DALL · E должен не только правильно сочетать каждый предмет одежды с животным, но и формировать ассоциации (шляпа, красный), (перчатки, желтый), (рубашка, синий) и (штаны, зеленый ), не смешивая их. Мы тестируем способность DALL · E делать это для относительного позиционирования, наложения объектов и управления несколькими атрибутами.

маленький красный блок на большом зеленом блоке

по всему миру

Мы обнаружили, что DALL · E правильно реагирует на некоторые типы относительных позиций, но не на другие. Иногда кажется, что варианты «сидеть» и «стоять впереди» работают, «сидеть внизу», «стоять сзади», «стоять слева от» и «стоять справа от» — нет. DALL · E также имеет более низкий процент успеха, когда его просят нарисовать большой объект, расположенный поверх меньшего, по сравнению с другим способом.

стопка из 3 кубиков. красный куб находится сверху, сидящий на зеленом кубе. зеленый куб находится посередине, он сидит на синем кубе. синий куб находится внизу.

по всему миру

Мы обнаружили, что DALL · E обычно генерирует изображение с одним или двумя объектами, имеющими правильные цвета.Однако только несколько образцов для каждого параметра имеют тенденцию иметь ровно три объекта, окрашенных точно так, как указано.

смайлик пингвина в синей шляпе, красных перчатках, зеленой рубашке и желтых штанах

по всему миру

Мы обнаружили, что DALL · E обычно создает изображение с двумя или тремя предметами одежды правильного цвета. Однако лишь в нескольких образцах для каждой настройки обычно присутствуют все четыре предмета одежды указанных цветов.

Хотя DALL · E действительно предлагает некоторый уровень управляемости над атрибутами и положением небольшого количества объектов, вероятность успеха может зависеть от того, как сформулирован заголовок. По мере того, как вводится больше объектов, DALL · E склонен сбивать с толку ассоциации между объектами и их цветами, и вероятность успеха резко снижается. Мы также отмечаем, что DALL · E хрупкий в отношении перефразирования заголовка в этих сценариях: альтернативные, семантически эквивалентные заголовки часто не дают правильных интерпретаций.

Визуализация перспективы и трехмерности

Мы обнаружили, что DALL · E также позволяет управлять точкой обзора сцены и 3D-стилем, в котором сцена визуализируется.

вид капибары, сидящей в поле, крупным планом

по всему миру

Мы обнаружили, что DALL · E может рисовать каждого из животных в разных ракурсах. Некоторые из этих видов, например «вид с воздуха» и «вид сзади», требуют знания внешнего вида животного с необычных ракурсов.Другие, такие как «очень крупный план», требуют знания мельчайших деталей кожи или шерсти животного.

капибара, состоящая из вокселей, сидящих в поле

по всему миру

Мы обнаружили, что DALL · E часто может изменять поверхность каждого из животных в соответствии с выбранным 3D-стилем, например, «пластилин» и «сделано из вокселей», и визуализировать сцену с правдоподобным затемнением в зависимости от расположения объекта. солнце. «Рентгеновский» стиль не всегда работает надежно, но он показывает, что DALL · E может иногда ориентировать кости внутри животного в правдоподобных (хотя и не анатомически правильных) конфигурациях.

Чтобы продвинуть это дальше, мы тестируем способность DALL · E многократно рисовать голову хорошо известной фигуры под каждым углом из последовательности равных углов, и обнаруживаем, что мы можем восстановить плавную анимацию вращающейся головы.

фотография бюста гомера

по всему миру

Мы запрашиваем DALL · E как с подписью, описывающей хорошо известный рисунок, так и с верхней областью изображения, показывающей шляпу, нарисованную под определенным углом. Затем мы просим DALL · E завершить оставшуюся часть изображения с учетом этой контекстной информации.Мы делаем это неоднократно, каждый раз поворачивая шляпу еще на несколько градусов, и обнаруживаем, что можем восстановить плавную анимацию нескольких хорошо известных фигур, при этом каждый кадр соответствует точным характеристикам угла и окружающего освещения.

DALL · E, похоже, может применять некоторые типы оптических искажений к сценам, как мы видим с параметрами «вид с линзой рыбий глаз» и «сферическая панорама». Это побудило нас изучить его способность создавать отражения.

простой белый куб, смотрящий на собственное отражение в зеркале.простой белый куб, смотрящий на себя в зеркало.

по всему миру

Подобно тому, что было сделано ранее, мы предлагаем DALL · E заполнить нижние правые углы последовательности кадров, каждый из которых содержит зеркало и отражающий пол. Хотя отражение в зеркале обычно напоминает объект за его пределами, оно часто не отображает отражение физически правильно. Напротив, отражение объекта, нарисованного на отражающем полу, обычно более правдоподобно.

Визуализация внутренней и внешней структуры

Образцы из стиля «очень крупным планом» и «рентгеновского снимка» привели нас к дальнейшему исследованию способности DALL · E визуализировать внутреннюю структуру с помощью видов поперечного сечения и внешнюю структуру с помощью макроснимков.

поперечный разрез грецкого ореха

по всему миру

Мы обнаружили, что DALL · E может рисовать внутренности нескольких различных типов объектов.

Макрофотография мозгового коралла

по всему миру

Мы обнаружили, что DALL · E может рисовать мельчайшие внешние детали нескольких различных типов объектов.Эти детали видны только при близком рассмотрении объекта.

Выведение контекстных деталей

Задача перевода текста в изображения недооценена: один заголовок обычно соответствует бесконечному количеству правдоподобных изображений, поэтому изображение не определяется однозначно. Например, рассмотрите подпись «изображение капибары, сидящей на поле на рассвете». В зависимости от ориентации капибары может потребоваться нарисовать тень, хотя эта деталь никогда не упоминается явно.Мы исследуем способность DALL · E решать проблему недостаточной спецификации в трех случаях: изменение стиля, обстановки и времени; рисование одного и того же объекта в самых разных ситуациях; и создание изображения объекта с написанным на нем конкретным текстом.

Картина водосвинки, сидящей в поле на рассвете

по всему миру

Мы обнаружили, что DALL · E может визуализировать одну и ту же сцену в различных стилях и может адаптировать освещение, тени и окружающую среду в зависимости от времени суток или сезона.

на витрине магазина написано слово «openai». на витрине магазина написано слово «openai». на витрине магазина написано слово «openai». Фасад магазина «openai».

по всему миру

Мы обнаружили, что DALL · E иногда может отображать текст и адаптировать стиль письма к контексту, в котором он появляется. Например, «мешок с фишками» и «номерной знак» требуют разных типов шрифтов, а «неоновая вывеска» и «написанные в небе» требуют изменения внешнего вида букв.

Как правило, чем длиннее строка, которую предлагается написать DALL · E, тем ниже вероятность успеха. Мы обнаружили, что вероятность успеха увеличивается, когда части заголовка повторяются. Кроме того, вероятность успеха иногда повышается по мере снижения температуры выборки для изображения, хотя образцы становятся более простыми и менее реалистичными.

DALL · E с разной степенью надежности обеспечивает доступ к подмножеству возможностей механизма 3D-рендеринга через естественный язык.Он может независимо контролировать атрибуты небольшого количества объектов и, в ограниченной степени, их количество и то, как они расположены относительно друг друга. Он также может управлять местоположением и углом, под которым визуализируется сцена, и может создавать известные объекты в соответствии с точными спецификациями угла и условий освещения.

В отличие от механизма 3D-рендеринга, входные данные которого должны быть указаны недвусмысленно и подробно, DALL · E часто может «заполнять пробелы», когда заголовок подразумевает, что изображение должно содержать определенную деталь, которая явно не указана.

Приложения предыдущих возможностей

Далее мы исследуем использование предыдущих возможностей в моде и дизайне интерьеров.

мужской манекен, одетый в оранжево-черную фланелевую рубашку

по всему миру

Мы исследуем способность DALL · E создавать мужские манекены в самых разных нарядах. При запросе двух цветов, например, «оранжево-белый бомбер» и «оранжево-черный свитер с высоким воротником», DALL · E часто демонстрирует ряд возможностей использования обоих цветов для одного и того же предмета одежды.

DALL · E также иногда путает менее распространенные цвета с другими соседними оттенками. Например, когда предлагается нарисовать одежду «темно-синим», DALL · E иногда использует более светлые оттенки синего или оттенки, очень близкие к черному. Точно так же DALL · E иногда путает «оливковый» с оттенками коричневого или более яркими оттенками зеленого.

женский манекен, одетый в черную кожаную куртку и золотую плиссированную юбку

по всему миру

Мы исследуем способность DALL · E создавать женские манекены в самых разных нарядах.Мы обнаружили, что DALL · E может изобразить уникальные текстуры, такие как блеск «черной кожаной куртки» и «золотых» юбок и леггинсов. Как и прежде, мы видим, что DALL · E иногда путает менее распространенные цвета, такие как «темно-синий» и «оливковый», с другими соседними оттенками.

гостиная с двумя белыми креслами и картиной с изображением Колизея. Картина установлена ​​над современным камином.

по всему миру

Мы исследуем способность DALL · E создавать изображения комнат с указанием нескольких деталей.Мы обнаружили, что с его помощью можно создавать картины на самые разные темы, включая реальные локации, такие как «Колизей», и вымышленных персонажей, таких как «йода». Для каждого предмета DALL · E предлагает множество интерпретаций. В то время как картина почти всегда присутствует в сцене, DALL · E иногда не может нарисовать камин или правильное количество кресел.

спальня-чердак с белой кроватью рядом с тумбочкой. рядом с грядкой есть аквариум.

по всему миру

Мы исследуем способность DALL · E создавать спальни с указанием нескольких деталей.Несмотря на то, что мы не говорим DALL · E, что должно размещаться на тумбочке или полке рядом с кроватью, мы обнаруживаем, что иногда он решает поместить другой указанный объект сверху. Как и раньше, мы видим, что часто не удается отрисовать один или несколько указанных объектов.

Объединение не связанных между собой концепций

Композиционная природа языка позволяет нам объединять концепции для описания как реальных, так и воображаемых вещей. Мы обнаружили, что DALL · E также обладает способностью комбинировать разрозненные идеи для синтеза объектов, некоторые из которых вряд ли существуют в реальном мире. Мы исследуем эту способность в двух случаях: передача качеств от различных концепций животным и создание продуктов, вдохновляясь несвязанными концепциями.

улитка из арфы. улитка с текстурой арфы.

по всему миру

Мы обнаружили, что DALL · E может генерировать животных, синтезируя различные концепции, включая музыкальные инструменты, продукты питания и предметы домашнего обихода. Хотя это не всегда удается, мы обнаруживаем, что DALL · E иногда принимает во внимание формы двух объектов при определении того, как их объединить.Например, когда предлагается нарисовать «улитку из арфы», он иногда связывает столб арфы со спиралью раковины улитки.

В предыдущем разделе мы видели, что чем больше объектов вводится в сцену, DALL · E может запутать ассоциации между объектами и их указанными атрибутами. Здесь мы видим другой вид режима отказа: иногда вместо того, чтобы привязывать какой-либо атрибут указанного понятия (скажем, «кран») к животному (скажем, «улитка»), DALL · E просто рисует эти два как отдельные предметы.

кресло в форме авокадо. кресло имитирующее авокадо.

по всему миру

В предыдущем наглядном пособии мы исследовали способность DALL · E создавать фантастические объекты путем объединения двух не связанных между собой идей. Здесь мы исследуем его способность черпать вдохновение из несвязанной идеи, уважая при этом форму разрабатываемой вещи, в идеале создавая объект, который кажется практически функциональным. Мы обнаружили, что подсказка DALL · E с фразами «в форме», «в форме» и «в стиле» дает ему возможность сделать это.

При создании некоторых из этих объектов, таких как «кресло в форме авокадо», DALL · E, по-видимому, связывает форму половинки авокадо со спинкой стула, а косточку авокадо — с подушкой. Мы обнаружили, что DALL · E подвержен тем же ошибкам, которые упоминались в предыдущем наглядном пособии.

Иллюстрации животных

В предыдущем разделе мы исследовали способность DALL · E комбинировать несвязанные концепции при создании изображений реальных объектов. Здесь мы исследуем эту способность в контексте искусства для трех видов иллюстраций: антропоморфизированных версий животных и предметов, химер животных и смайликов.

Иллюстрация маленькой редьки дайкон в балетной пачке, выгуливающей собаку

по всему миру

Мы обнаружили, что DALL · E иногда может передавать некоторые виды человеческой деятельности и предметы одежды животным и неодушевленным предметам, например, пищевым продуктам. Мы включаем слова «пикачу» и «владение синим световым мечом», чтобы исследовать способность DALL · E включать популярные СМИ.

Нам интересно, как DALL · E адаптирует части человеческого тела к животным. Например, когда его просят нарисовать редис дайкон, сморкающийся, потягивающий латте или едущий на одноколесном велосипеде, DALL · E часто рисует платок, руки и ноги в подходящих местах.

Профессиональная высококачественная иллюстрация черепахи-жирафа-химеры. жираф, имитирующий черепаху. жираф из черепахи.

по всему миру

Мы обнаружили, что DALL · E иногда может правдоподобным образом объединять разных животных.Мы включаем слово «пикачу», чтобы исследовать способность DALL · E использовать знания популярных СМИ, и слово «робот», чтобы изучить его способность создавать киборгов животных. Как правило, черты второго животного, упомянутого в подписи, имеют тенденцию быть доминирующими.

Мы также обнаружили, что вставка фразы «профессиональное высокое качество» перед «иллюстрацией» и «смайликами» иногда улучшает качество и согласованность результатов.

Профессиональные высококачественные смайлики влюбленной чашки бобы

по всему миру

Мы обнаружили, что DALL · E иногда может передавать некоторые смайлики животным и неодушевленным предметам, например, пищевым продуктам.Как и в предыдущем наглядном примере, мы обнаруживаем, что вставка фразы «профессиональное высокое качество» перед «смайликами» иногда улучшает качество и согласованность результатов.

Визуальное мышление с нулевым выстрелом

GPT-3 может быть проинструктирован для выполнения многих видов задач исключительно из описания и подсказки для генерации ответа, представленного в его подсказке, без какого-либо дополнительного обучения. Например, когда предлагается фраза «вот предложение« человек выгуливает свою собаку в парке », переведенное на французский:», GPT-3 отвечает «un homme qui promène son chien dans le parc.Эта способность называется рассуждением с нулевым выстрелом . Мы обнаружили, что DALL · E расширяет эту возможность на визуальную область и может выполнять несколько видов задач преобразования изображения в изображение при правильном запросе.

тот же кот вверху, что и набросок внизу

по всему миру

Мы обнаружили, что DALL · E может применять несколько видов преобразования изображений к фотографиям животных с разной степенью надежности. Самые простые из них, такие как «фотография розового цвета» и «фотография, отраженная вверх ногами», также, как правило, являются наиболее надежными, хотя фотография часто не копируется или не отражается точно. Преобразование «животное в очень крупном плане» требует, чтобы DALL · E распознал породу животного на фотографии и визуализировал ее вблизи с соответствующими деталями. Это работает менее надежно, и для некоторых фотографий DALL · E генерирует правдоподобное завершение только в одном или двух случаях.

Другие преобразования, такие как «животное в солнечных очках» и «животное в галстуке-бабочке», требуют размещения аксессуара на правильной части тела животного. Те, которые изменяют только окраску животного, например «животное в розовый цвет», менее надежны, но показывают, что DALL · E иногда способен отделить животное от фона.Наконец, преобразования «набросок животного» и «чехол для мобильного телефона с животным» исследуют использование этой возможности для иллюстраций и дизайна продукта.

тот же самый чайник наверху с надписью «gpt» внизу

по всему миру

Мы обнаружили, что DALL · E может применять несколько различных видов преобразования изображений к фотографиям чайников с разной степенью надежности. Помимо возможности изменить цвет чайника (например,g., «синего цвета») или его рисунка (например, «с полосами»), DALL · E также может отображать текст (например, «с надписью« gpt »на нем») и отображать буквы на изогнутой поверхности чайник правдоподобным образом. С гораздо меньшей надежностью он также может нарисовать чайник меньшего размера (для варианта «крошечный») и в сломанном состоянии (для варианта «сломанный»).

Мы не ожидали появления этой возможности и не внесли никаких изменений в нейронную сеть или процедуру обучения, чтобы стимулировать ее.Воодушевленные этими результатами, мы измеряем способность DALL · E решать проблемы с аналогичными рассуждениями, проверяя ее на прогрессивных матрицах Raven, визуальном IQ-тесте, который получил широкое распространение в 20-м веке.

последовательность геометрических фигур.

по всему миру

Вместо того, чтобы рассматривать тест IQ как задачу с множественным выбором, как изначально предполагалось, мы просим DALL · E заполнить нижний правый угол каждого изображения, используя выборку argmax, и считаем его завершение правильным, если оно визуально близко соответствует изображению. оригинал.

DALL · E часто может решать матрицы, которые включают в себя продолжающиеся простые шаблоны или базовые геометрические рассуждения, например, в наборах B и C. Иногда он может решать матрицы, которые включают распознавание перестановок и применение логических операций, например, в наборах D. Экземпляры в наборе E, как правило, самые сложные, и DALL · E почти ни один из них не дает правильных.

Для каждого набора мы измеряем эффективность DALL · E как на исходных изображениях, так и на изображениях с инвертированными цветами.Инверсия цветов не должна создавать дополнительных трудностей для человека, но в целом ухудшает работу DALL · E, предполагая, что ее возможности могут быть нестабильными по неожиданным причинам.

Географические знания

Мы обнаружили, что DALL · E узнал о географических фактах, достопримечательностях и окрестностях. Его знание этих концепций в одних случаях на удивление точное, а в других — ошибочно.

фото китайской еды

по всему миру

Мы проверяем, насколько DALL · E понимает простые географические факты, такие как флаги стран, кухни и местную дикую природу. Несмотря на то, что DALL · E успешно отвечает на многие из этих вопросов, например, связанных с национальными флагами, он часто отражает поверхностные стереотипы в отношении таких вариантов, как «еда» и «дикая природа», в отличие от представления всего разнообразия, встречающегося в реальном мире.

фотография площади Аламо, Сан-Франциско, с улицы ночью

по всему миру

Мы обнаруживаем, что DALL · E иногда может отображать подобия определенных мест в Сан-Франциско.В местах, знакомых авторам, таких как Сан-Франциско, они вызывают ощущение дежавю — жуткие симулякры улиц, тротуаров и кафе, которые напоминают нам об очень специфических местах, которых не существует.

фотография моста Золотые ворота Сан-Франциско

по всему миру

Мы также можем предложить DALL · E нарисовать известные достопримечательности. Фактически, мы даже можем указать, когда была сделана фотография, указав первые несколько рядов неба. Например, когда небо темное, DALL · E распознает, что сейчас ночь, и включает свет в зданиях.

Временные знания

Помимо изучения знаний DALL · E о концепциях, которые меняются в пространстве, мы также изучаем его знания о концепциях, которые меняются с течением времени.

фото телефона 20х годов

по всему миру

Мы обнаружили, что DALL · E узнал об основных стереотипных тенденциях в дизайне и технологиях на протяжении десятилетий. Технологические артефакты, кажется, переживают периоды бурных изменений, резко меняясь на десятилетие или два, а затем изменяются более инкрементально, становясь уточненными и упорядоченными.

Краткое изложение подхода и предшествующей работы

DALL · E — простой преобразователь только для декодера, который принимает и текст, и изображение в виде единого потока из 1280 токенов — 256 для текста и 1024 для изображения — и моделирует их все авторегрессивно. Маска внимания на каждом из 64 слоев самовнимания позволяет каждому токену изображения соответствовать всем текстовым токенам. DALL · E использует стандартную причинно-следственную маску для текстовых маркеров и редкое внимание для графических маркеров со строкой, столбцом или сверточным шаблоном внимания, в зависимости от слоя.Мы предоставляем более подробную информацию об архитектуре и процедуре обучения в нашей статье.

Синтез текста в изображение является активной областью исследований с момента пионерской работы Reed et. al, чей подход использует GAN, основанный на встраивании текста. Вложения производятся кодировщиком, предварительно обученным с использованием контрастных потерь, в отличие от CLIP. StackGAN и StackGAN ++ используют многомасштабные сети GAN для увеличения разрешения изображения и улучшения визуальной точности. AttnGAN объединяет внимание между функциями текста и изображения и предлагает в качестве вспомогательной цели потерю сопоставления элементов контрастного текста и изображения.Это интересно сравнить с нашим повторным ранжированием с помощью CLIP, которое выполняется в автономном режиме. Другая работа включает дополнительные источники контроля во время обучения для улучшения качества изображения. Наконец, работа Nguyen et. др. и Чо и др. al исследует основанные на выборке стратегии для генерации изображений, которые используют предварительно обученные мультимодальные дискриминативные модели.

Подобно выборке отбраковки, используемой в VQVAE-2, мы используем CLIP для повторного ранжирования 32 верхних из 512 выборок для каждой подписи во всех интерактивных визуальных эффектах.Эту процедуру также можно рассматривать как своего рода поиск с указанием языка, и она может существенно повлиять на качество выборки.

Иллюстрация молодого редиса дайкон в балетной пачке, выгуливающего собаку [подпись 1, лучшее 8 из 2048]

по всему миру

Повторное ранжирование образцов из DALL · E с помощью CLIP может значительно улучшить согласованность и качество образцов.

Это началось как игра-подземелье с искусственным интеллектом.

Он стал намного темнее

OpenAI заявила, что эта служба расширит возможности бизнеса и стартапов, и предоставила Microsoft, крупному спонсору OpenAI, эксклюзивную лицензию на базовые алгоритмы.WIRED и некоторые программисты и исследователи искусственного интеллекта, опробовавшие систему, показали, что она также может генерировать сомнительный текст, например антисемитские комментарии и экстремистскую пропаганду. OpenAI заявила, что будет тщательно проверять клиентов, чтобы отсеять злоумышленников, и требует, чтобы большинство клиентов — но не Latitude — использовали фильтры, созданные поставщиком ИИ для блокировки ненормативной лексики, языка ненависти или контента сексуального характера.

«Очень сложно понять, как эти модели будут вести себя в дикой природе». Сучин Гуруранган, исследователь, Вашингтонский университет

Вне всеобщего внимания, AI Dungeon обеспечил относительно неограниченный доступ к технологии генерации текста OpenAI.В декабре 2019 года, когда игра была запущена с использованием более ранней версии технологии OpenAI с открытым исходным кодом, она привлекла 100 000 игроков. Некоторые быстро открыли для себя и стали ценить его свободное владение сексуальным содержанием. Другие жаловались, что ИИ непроизвольно поднимал сексуальные темы, например, когда они пытались путешествовать, садясь на дракона, и их приключение принимало непредвиденный оборот.

Соучредитель Latitude Ник Уолтон признал проблему в официальном сообществе Reddit игры в течение нескольких дней после запуска.Он сказал, что несколько игроков прислали ему примеры, которые заставили их «почувствовать глубокий дискомфорт», добавив, что компания работает над технологией фильтрации. С первых месяцев игры игроки также заметили — и разместили в сети, чтобы отметить, — что иногда дети вписываются в сексуальные сценарии.

Официальные сообщества Reddit и Discord AI Dungeon добавили специальные каналы для обсуждения контента для взрослых, созданного игрой. В Latitude добавлен дополнительный «безопасный режим», который отфильтровывает предложения от ИИ с использованием определенных слов. Однако, как и все автоматические фильтры, он не был идеальным. Некоторые игроки заметили, что якобы безопасная настройка улучшила эротическое письмо текстового генератора, потому что в нем использовалось больше аналогий и эвфемизмов. Компания также добавила премиум-уровень подписки для получения дохода.

Когда в июле 2020 года в AI Dungeon были добавлены более мощные коммерческие алгоритмы записи OpenAI, текст стал еще более впечатляющим. «Резкий скачок в творчестве и способности рассказывать истории был просто небесным», — говорит один ветеран-игрок.По словам этого человека, система стала заметно более креативной в своей способности исследовать сексуально откровенные темы. Некоторое время в прошлом году игроки заметили, что Latitude экспериментирует с фильтром, который автоматически заменяет вхождения слова «изнасилование» на «уважение», но эта функция была отключена.

Игрок-ветеран был среди поклонников AI Dungeon , которые восприняли игру как инструмент письма с улучшенным ИИ для изучения тем для взрослых, в том числе в специальной группе писателей. Нежелательные предложения алгоритма могут быть удалены из истории, чтобы направить ее в другом направлении; результаты не публиковались публично, если только кто-то не решил ими поделиться.

Узнайте, что будет дальше в сфере технологий, с помощью бюллетеня Fast Forward.

От искусственного интеллекта и беспилотных автомобилей до преобразованных городов и новых стартапов — подпишитесь на последние новости.

Latitude отказался сообщить данные о количестве приключений сексуального характера. На веб-сайте OpenAI говорится, что AI Dungeon привлекает более 20 000 игроков каждый день.

Игрок AI Dungeon , который на прошлой неделе опубликовал сообщение о недостатке безопасности, благодаря которому каждая история, созданная в игре, стала общедоступной, говорит, что он загрузил несколько сотен тысяч приключений, созданных за четыре дня апреля.Он проанализировал выборку из 188 000 из них и обнаружил, что 31 процент содержал слова, предполагающие, что они были откровенно сексуальными. Этот анализ и недостаток безопасности, который теперь исправлен, усилили гнев некоторых игроков по поводу нового подхода Latitude к модерированию контента.

Latitude теперь стоит перед задачей вернуть доверие пользователей, отвечая требованиям OpenAI по более строгому контролю над своим текстовым генератором. Представитель OpenAI заявил, что теперь стартап должен использовать технологию фильтрации OpenAI.

Как ответственно развертывать системы ИИ, которые поглощают большие объемы интернет-текста, включая некоторые сомнительные части, стало горячей темой в исследованиях ИИ.Два известных исследователя Google были вынуждены покинуть компанию после того, как менеджеры возражали против публикации, в которой приводились доводы в пользу осторожности с такой технологией.

Эту технологию можно использовать очень ограниченно, например, в поиске Google, где она помогает анализировать смысл длинных запросов. OpenAI помог AI Dungeon запустить впечатляющее, но сложное приложение, которое позволяло людям предлагать технологии распределять более или менее все, что она могла.

Распространенные модели OpenAI превосходят GAN в своих лучших показателях

Генеративные состязательные сети (GAN) — это класс моделей глубокого обучения, которые учатся создавать новые (или псевдореальные) данные.Их появление в 2014 году и последующее усовершенствование привели к тому, что последние несколько лет они стали доминировать в области создания изображений и заложили основы новой парадигмы — глубоких подделок. Их способность имитировать обучающие данные и создавать новые образцы, похожие на них, стала более или менее непревзойденной. Таким образом, они занимают передовые позиции (SOTA) в большинстве задач по созданию изображений сегодня.

Несмотря на эти преимущества, GAN, как известно, сложно обучить, и они подвержены таким проблемам, как сбой режима и непонятные процедуры обучения.Более того, исследователи поняли, что GAN больше фокусируются на точности, а не на захвате разнообразного набора распределения обучающих данных. Таким образом, исследователи изучали возможности улучшения GAN в этой области или присматривались к другим архитектурам, которые будут лучше работать в той же области.

Два исследователя, Прафулла Даривал и Алекс Никол из OpenAI, одной из ведущих лабораторий по исследованию ИИ, подняли вопрос и обратились к другим архитектурам. В своей последней работе «Модели диффузии лучше GAN по синтезу изображений», опубликованной на этой неделе в репозитории препринтов arXiv, они показывают, что другая архитектура глубокого обучения, называемая диффузионными моделями, устраняет вышеупомянутые недостатки GAN.Они показывают, что модели диффузии не только лучше захватывают большую широту дисперсии обучающих данных по сравнению с GAN, но также превосходят SOTA GAN в задачах генерации изображений.

«Мы показываем, что модели с нашей улучшенной архитектурой достигают современного уровня в задачах безусловного синтеза изображений, а с помощью классификатора достигают современного состояния в области условного синтеза изображений. Используя руководство классификатора, мы обнаруживаем, что мы может выполнять выборку всего за 25 проходов вперед, сохраняя при этом FID, сопоставимые с BigGAN.Мы также сравниваем наши улучшенные модели со стеками повышающей дискретизации и обнаруживаем, что эти два подхода дают дополнительные улучшения и что их объединение дает наилучшие результаты в ImageNet 512×512 ».

Прежде чем двигаться дальше, важно понять суть диффузионных моделей. Модели диффузии — это еще один класс моделей глубокого обучения (в частности, моделей правдоподобия), которые хорошо справляются с задачами создания изображений. В отличие от GAN, которые учатся сопоставлять случайное зашумленное изображение с точкой в ​​обучающем распределении, диффузионные модели берут зашумленное изображение, а затем выполняют серию шагов по устранению шума, которые постепенно сокращают шум и выявляют изображение, которое принадлежит распределению обучающих данных. .

Даривал и Никол предположили, что серия обновлений архитектуры современных диффузионных моделей улучшит их производительность. Они также включили выбор компромисса между характеристиками точности и дисперсии GAN в свои собственные модели распространения. Вдохновленные уровнями внимания архитектуры Transformer, улучшением архитектуры UNet, использованием Adaptive Group Normalization и условием для меток классов, два исследователя обучили множество моделей распространения, а затем сопоставили их с SOTA GAN в задачах генерации изображений.

Модели BigGAN и OpenAI были обучены на наборах данных LSUN и ImageNet для задач безусловной и условной генерации изображений. Выходные изображения сравнивались с использованием нескольких показателей, которые оценивали точность, отзывчивость и достоверность. В частности, использовались известные метрики Fréchet Inception Distance (FID) и sFID, которые количественно определяют разницу между двумя распределениями изображений.

Модели распространения

OpenAI получают лучший FID для каждой задачи и лучший sFID для всех задач, кроме одной.В таблице ниже показаны результаты. Обратите внимание, что, как указывалось ранее, FID измеряет расстояние между двумя распределениями изображений, поэтому идеальная оценка равна 0,0, что означает, что два распределения идентичны. Таким образом, в таблице ниже, чем меньше балл, тем лучше.

Качественно это приводит к следующим выходам изображений. В левом столбце представлены результаты глубокой модели SOTA BigGAN, в среднем столбце представлены результаты диффузионных моделей OpenAI, а в правом столбце — изображения из исходного набора обучающих данных.

Дополнительные образцы из эксперимента прилагаются в конце статьи. Проницательный читатель заметил бы, что с точки зрения восприятия изображения выше выглядят определенно похожими, но авторы отметили, что модели диффузии захватили более обширную информацию из обучающей выборки:

«Хотя образцы имеют аналогичное качество восприятия, модель диффузии содержит больше режимов, чем GAN, таких как увеличенные головы страуса, одиночные фламинго, чизбургеры различной ориентации и рыба тинка без человека, держащего ее. «

Теперь, когда эти результаты обнародованы, исследователи считают, что диффузионные модели являются «чрезвычайно многообещающим направлением» для генеративного моделирования, области, в которой в значительной степени доминировали GAN.

Несмотря на многообещающие результаты, исследователи отметили, что диффузионные модели не лишены собственного набора ограничений. В настоящее время для обучения диффузионных моделей требуется больше вычислительных ресурсов, чем для GAN. Синтез изображения также происходит медленнее из-за нескольких шагов по уменьшению шума, которые постепенно удаляют шум из изображения.В своем документе они указали на существующие подходы к решению этих проблем, которые могут быть изучены в будущем.

OpenAI опубликовал код этой статьи на GitHub. Вы можете проверить репозиторий здесь. Более подробную информацию можно найти в исследовательской статье на arXiv.

Галерея

: диффузионные модели превосходят GAN

Беспорядочная и скрытная реальность, стоящая за попыткой OpenAI спасти мир

Каждый год сотрудники OpenAI голосуют, когда они верят, что наконец появится общий искусственный интеллект или AGI. В основном это рассматривается как интересный способ наладить связи, и их оценки сильно различаются. Но в области, которая все еще обсуждает, возможны ли вообще автономные системы, подобные человеку, половина лабораторий делает ставку на то, что это, скорее всего, произойдет в течение 15 лет.

За четыре коротких года своего существования OpenAI стала одной из ведущих исследовательских лабораторий в области искусственного интеллекта в мире. Он сделал себе имя, проводя неизменно вызывающие заголовки исследования, наряду с другими тяжеловесами в области ИИ, такими как DeepMind от Alphabet. Он также является любимцем Кремниевой долины, среди его основателей — Илон Маск и легендарный инвестор Сэм Альтман.

Прежде всего, он восхищен своей миссией. Его цель — стать первым, кто создаст ОИИ — машину, обладающую способностями к обучению и рассуждению человеческого разума. Цель не в мировом господстве; скорее, лаборатория хочет убедиться, что технология разрабатывается безопасно, а ее преимущества равномерно распределяются по всему миру.

Подразумевается, что AGI может легко выйти из-под контроля, если развитие технологии будет идти по пути наименьшего сопротивления. Узкий интеллект, неуклюжий ИИ, который нас окружает сегодня, уже послужил примером.Теперь мы знаем, что алгоритмы предвзяты и хрупки; они могут совершать великие злоупотребления и большой обман; а расходы на их развитие и управление имеют тенденцию концентрировать их власть в руках немногих. По экстраполяции, AGI может привести к катастрофе без тщательного руководства доброжелательного пастыря.

OpenAI хочет быть этим пастырем, и он тщательно создал свой образ, чтобы он соответствовал всем требованиям. В области, где доминируют богатые корпорации, она была основана как некоммерческая организация. В первом объявлении говорилось, что это различие позволит «повысить ценность для всех, а не для акционеров».Его устав — настолько священный документ, что заработная плата сотрудников зависит от того, насколько хорошо они его соблюдают, — далее провозглашает, что «основная фидуциарная обязанность OpenAI — перед человечеством». Безопасное достижение AGI настолько важно, продолжает он, что, если бы другая организация была близка к тому, чтобы сделать это первой, OpenAI перестанет конкурировать с ней и вместо этого будет сотрудничать. Этот манящий рассказ нравится инвесторам и СМИ, и в июле Microsoft вложила в лабораторию новый миллиард долларов.

Логотип OpenAI висит в его офисе.

Christie Hemm Klok

Но три дня в офисе OpenAI и почти три дюжины собеседований с бывшими и нынешними сотрудниками, соавторами, друзьями и другими экспертами в этой области предполагают иную картину. Существует несоответствие между тем, что компания публично поддерживает, и тем, как она работает за закрытыми дверями. Со временем это привело к жесткой конкуренции и растущему давлению с целью получения еще большего финансирования, что подорвало его основополагающие идеалы прозрачности, открытости и сотрудничества.Многие из тех, кто работал или работал в компании, настаивали на анонимности, потому что они не имели права говорить или опасались возмездия. Их отчеты предполагают, что OpenAI, несмотря на все свои благородные устремления, одержима сохранением секретности, защитой своего имиджа и сохранением лояльности своих сотрудников.

---

С момента своего зарождения ИИ как область деятельности стремился понять человеческий интеллект, а затем воссоздать его. В 1950 году Алан Тьюринг, известный английский математик и компьютерный ученый, начал статью со ставшей известной теперь провокацией «Могут ли машины думать?» Шесть лет спустя, увлеченные этой назойливой идеей, группа ученых собралась в Дартмутском колледже, чтобы формализовать дисциплину.

«Это один из самых фундаментальных вопросов всей интеллектуальной истории, верно?» говорит Орен Этциони, генеральный директор Института искусственного интеллекта Аллена (AI2), некоммерческой исследовательской лаборатории искусственного интеллекта в Сиэтле. «Это похоже на то, понимаем ли мы происхождение Вселенной? Мы понимаем материю? »

Проблема в том, что AGI всегда оставался неопределенным. Никто не может реально описать, как это может выглядеть или минимум того, что он должен делать. Например, неочевидно, что существует только один вид общего интеллекта; человеческий интеллект может быть лишь подмножеством.Существуют также разные мнения о том, какой цели может служить AGI. С более романтичной точки зрения, машинный интеллект, которому не мешает сон или неэффективность человеческого общения, может помочь решить сложные проблемы, такие как изменение климата, бедность и голод.

Но в этой области все сходятся во мнении, что такие продвинутые возможности потребуют десятилетий, даже столетий — если вообще возможно их развить. Многие также опасаются, что чрезмерное стремление к этой цели может иметь неприятные последствия.В 1970-х, а также в конце 80-х и начале 90-х годов в этой области были слишком много обещаний и результатов. В одночасье финансирование иссякло, оставив глубокие шрамы на жизни целого поколения исследователей. «Эта область казалась захолустной, — говорит Питер Экерсли, до недавнего времени директор по исследованиям отраслевой группы Partnership on AI, членом которой является OpenAI.

Конференц-зал на первом этаже под названием Infinite Jest.

Christie Hemm Klok

На этом фоне OpenAI произвел фурор 11 декабря 2015 года.Он не был первым, кто открыто заявил, что преследует AGI; DeepMind сделал это пятью годами ранее и был приобретен Google в 2014 году. Но OpenAI казался другим. Во-первых, цена на этикетке шокировала: проект начнется с 1 миллиарда долларов от частных инвесторов, включая Маска, Альтмана и соучредителя PayPal Питера Тиля.

Список звездных инвесторов вызвал ажиотаж в СМИ, как и впечатляющий список первых сотрудников: Грег Брокман, который руководил технологиями платежной компании Stripe, станет главным техническим директором; Илья Суцкевер, который учился у первопроходца искусственного интеллекта Джеффри Хинтона, будет директором по исследованиям; а семь исследователей, только что окончивших лучшие университеты или переброшенных из других компаний, составят основную техническую команду.(В феврале прошлого года Маск объявил, что расстается с компанией из-за разногласий по поводу ее направления. Через месяц Альтман ушел с поста президента акселератора стартапов Y Combinator и стал генеральным директором OpenAI.)

Но, прежде всего, статус некоммерческой организации OpenAI сделал заявление. «Важно иметь ведущее исследовательское учреждение, которое может ставить во главу угла хорошие результаты для всех, а не собственные интересы», — говорится в заявлении. «Исследователям будет настоятельно рекомендовано публиковать свои работы в виде статей, сообщений в блогах или кода, а наши патенты (если таковые имеются) будут доступны всему миру.«Хотя критика никогда не была явной, ее смысл был очевиден: другие лаборатории, такие как DeepMind, не могли служить человечеству, потому что их сдерживали коммерческие интересы. Пока они были закрыты, OpenAI будет открыт .

В исследовательской среде, которая становилась все более приватизированной и ориентированной на краткосрочную финансовую выгоду, OpenAI предлагал новый способ финансирования прогресса в решении самых больших проблем. «Это был маяк надежды», — говорит Чип Хуен, эксперт по машинному обучению, внимательно следивший за развитием лаборатории.

---

На пересечении 18-й и Фолсом-стрит в Сан-Франциско офис OpenAI выглядит как загадочный склад. Историческое здание с серыми панелями и тонированными окнами с опущенными шторами. Буквы «PIONEER BUILDING» — остатки его бывшего владельца, завода Pioneer Truck, — обвивают угол выцветшей красной краской.

Внутри все светло и просторно. На первом этаже есть несколько общих помещений и два конференц-зала. Один, подходящий по размеру для больших встреч, называется «Космическая одиссея»; другая, более прославленная телефонная будка, называется «Бесконечная шутка».Это пространство, которым я ограничен во время моего визита. Мне запрещено посещать второй и третий этажи, где находятся все рабочие столы, несколько роботов и почти все интересное. Когда приходит время интервью, люди подходят ко мне. Сотрудник тренирует бдительный взгляд на меня в перерывах между встречами.

Пионерский дом.

wikimedia commons / tfinc

В прекрасный ясный день, когда я приезжаю на встречу с Брокманом, он выглядит нервным и настороженным. «Мы никогда раньше не давали никому такого доступа», — говорит он с робкой улыбкой.Он носит повседневную одежду и, как многие в OpenAI, носит бесформенную стрижку, которая, кажется, отражает эффективный менталитет без излишеств.

Брокман, 31 год, вырос на ферме в Северной Дакоте, и у него было то, что он описывает как «сосредоточенное и тихое детство». Он доил коров, собирал яйца и полюбил математику, пока учился самостоятельно. В 2008 году он поступил в Гарвард, намереваясь получить двойную специализацию по математике и информатике, но ему быстро не терпелось войти в реальный мир. Год спустя он бросил учебу, вместо этого поступил в Массачусетский технологический институт, а затем снова бросил учебу в течение нескольких месяцев.Во второй раз его решение было окончательным. Переехав в Сан-Франциско, он больше не оглядывался назад.

Брокман ведет меня на обед, чтобы увезти меня из офиса во время собрания всей компании. В кафе через улицу он говорит об OpenAI с энергией, искренностью и удивлением, часто проводя параллели между его миссией и знаковыми достижениями истории науки. Его харизму как лидера легко оценить. Пересказывая памятные отрывки из прочитанных им книг, он сосредотачивается на любимом повествовании Долины — беге Америки на Луну.(«Одна история, которую я действительно люблю, — это история уборщика», — говорит он, ссылаясь на известную, но, вероятно, апокрифическую историю. «Кеннеди подходит к нему и спрашивает его:« Что ты делаешь? », И он говорит:« Ой, Я помогаю отправить человека на Луну! »). Еще есть трансконтинентальная железная дорога (« На самом деле это был последний мегапроект, полностью сделанный вручную… проект огромного масштаба, который был абсолютно рискованным ») и лампа накаливания Томаса Эдисона (« Комитет выдающихся экспертов сказал: «Это никогда не сработает», и год спустя он отправил его »).

Грег Брокман, соучредитель и технический директор.

Christie Hemm Klok

Брокман знает об авантюре, на которую пошла OpenAI, и понимает, что она вызывает цинизм и критику. Но с каждой ссылкой его послание ясно: люди могут быть скептичными сколько угодно. Это цена большой смелости.

---

Те, кто присоединился к OpenAI в первые дни, помнят энергию, азарт и целеустремленность. Команда была небольшой, сформированной за счет тесной сети связей, а руководство оставалось разрозненным и неформальным.Все верили в плоскую структуру, где идеи и дискуссии будут приветствоваться кем угодно.

Маск сыграл немаловажную роль в построении коллективной мифологии. «Он представил это мне так:« Послушайте, я понял. AGI может быть далеко, но что, если это не так? », — вспоминает Питер Аббель, профессор Калифорнийского университета в Беркли, который работал там вместе с несколькими своими учениками в течение первых двух лет. «Что, если вероятность того, что это произойдет в ближайшие 5–10 лет, составляет всего 1% или 0,1%? Разве мы не должны подумать об этом очень внимательно? »Это нашло отклик у меня», — говорит он.

Но неформальность также привела к некоторой расплывчатости направления. В мае 2016 года Альтмана и Брокмана посетил Дарио Амодеи, тогдашний исследователь Google, и сказал им, что никто не понимает, что они делают. В аккаунте, опубликованном в New Yorker, не было ясно, что и сама команда знала. «Наша цель прямо сейчас… сделать все возможное, — сказал Брокман. «Это немного расплывчато».

Тем не менее, Амодеи присоединился к команде несколько месяцев спустя. Его сестра, Даниэла Амодеи, ранее работала с Брокманом, и он уже знал многих членов OpenAI.Через два года по просьбе Брокмана к нам присоединилась и Даниэла. «Представьте, мы начали с нуля», — говорит Брокман. «У нас просто был идеал, и мы хотели, чтобы AGI работала хорошо».

Во время обеда Брокман декламирует устав как Священное Писание, объясняя все аспекты существования компании.

К марту 2017 года, через 15 месяцев, руководство осознало, что пришло время для большего внимания. Итак, Брокман и несколько других основных членов начали работу над внутренним документом, в котором проложили путь к AGI.Но процесс быстро выявил роковую ошибку. Когда команда изучила тенденции в этой области, они поняли, что оставаться в некоммерческой организации финансово невыгодно. Вычислительные ресурсы, которые другие специалисты в этой области использовали для достижения выдающихся результатов, удваивались каждые 3,4 месяца. Стало ясно, что «для того, чтобы оставаться актуальными», говорит Брокман, им потребуется достаточно капитала, чтобы соответствовать или превысить этот экспоненциальный рост. Это потребовало новой организационной модели, которая могла бы быстро накапливать деньги, при этом каким-то образом оставаясь верной миссии.

Без ведома общественности — и большинства сотрудников — помня об этом, OpenAI выпустила свой устав в апреле 2018 года. В документе были переформулированы основные ценности лаборатории, но тонко изменен язык, чтобы отразить новую реальность. Наряду со своим обязательством «избегать использования AI или AGI, которые наносят вред человечеству или чрезмерно концентрируют власть», он также подчеркнул потребность в ресурсах. «Мы ожидаем, что для выполнения нашей миссии потребуется мобилизовать значительные ресурсы, — говорится в сообщении, — но всегда будем старательно действовать, чтобы минимизировать конфликты интересов между нашими сотрудниками и заинтересованными сторонами, которые могут поставить под угрозу широкую выгоду.»

« Мы потратили много времени на внутренние итерации с сотрудниками, чтобы привести всю компанию в соответствие с набором принципов », — говорит Брокман. «Вещи, которые должны были оставаться неизменными, даже если мы изменим нашу структуру».

Слева направо: Даниэла Амодеи, Джек Кларк, Дарио Амодеи, Джефф Ву (технический сотрудник), Грег Брокман, Алек Рэдфорд (руководитель группы технических языков), Кристин Пейн (технический сотрудник), Илья Суцкевер и Крис Бернер ( начальник инфраструктуры).

Christie Hemm Klok

Это изменение структуры произошло в марте 2019 года.OpenAI отказался от своего чисто некоммерческого статуса, создав подразделение по «ограничению прибыли» — коммерческое предприятие со 100-кратным лимитом доходов инвесторов, хотя и под контролем совета директоров, являющегося частью некоммерческой организации. Вскоре после этого было объявлено об инвестициях Microsoft в миллиард долларов (хотя не сообщалось, что они делятся между наличными и кредитами Azure, платформе облачных вычислений Microsoft).

Как и следовало ожидать, этот шаг вызвал волну обвинений в том, что OpenAI возвращается к своей миссии. В посте на Hacker News вскоре после объявления пользователь спросил, как 100-кратный лимит вообще будет ограничивать: «Ранние инвесторы в Google получили примерно 20-кратную прибыль на свой капитал», — написали они.«Вы делаете ставку на то, что у вас будет корпоративная структура, которая приносит на порядки больше, чем Google… но вы не хотите« чрезмерно концентрировать власть »? Как это будет работать? Что такое сила, как не концентрация ресурсов? »

Этот шаг также встревожил многих сотрудников, которые выразили аналогичную озабоченность. Чтобы смягчить внутренние беспорядки, руководство написало FAQ как часть серии хорошо защищенных переходных документов. «Могу ли я доверять OpenAI?» задан один вопрос. «Да», — начал ответ, за которым последовал абзац с пояснениями.

---

Устав является основой OpenAI. Он служит трамплином для всех стратегий и действий лаборатории. Во время нашего обеда Брокман повторяет это как отрывок из Священного Писания, объясняя каждый аспект существования компании. («Между прочим, — поясняет он в середине одного выступления, — я полагаю, что знаю все эти строки, потому что я потратил много времени, действительно изучая их, чтобы понять их в точности. Не то чтобы я читал это перед собранием. ”)

Как вы обеспечите, чтобы люди продолжали жить осмысленной жизнью по мере развития у вас более продвинутых способностей? «Как мы уже писали, мы думаем, что его влияние должно заключаться в том, чтобы дать каждому экономическую свободу, позволить им найти новые возможности, которые сегодня невозможно представить. Как вы будете структурировать себя, чтобы равномерно распределять AGI? «Я думаю, что утилита — лучшая аналогия того видения, которое у нас есть. Но опять же, все это регулируется уставом «. Как вы соревнуетесь, чтобы первым достичь AGI без ущерба для безопасности? «Я думаю, что существует абсолютно этот важный баланс, и наш лучший способ добиться этого — это то, что указано в уставе».

9 АПРЕЛЯ 2018 ЧТЕНИЕ 5 МИНУТ

OpenAI

По мнению Брокмана, строгое соблюдение документа — это то, что заставляет структуру OpenAI работать.Внутреннее согласование считается первостепенным: все штатные сотрудники должны работать в одном офисе, за некоторыми исключениями. Для политической команды, особенно Джека Кларка, директора, это означает, что жизнь будет разделена между Сан-Франциско и Вашингтоном, округ Колумбия. Кларк не возражает — фактически, он согласен с менталитетом. По его словам, именно промежуточные моменты, такие как обеденный перерыв с коллегами, помогают всем оставаться на одной волне.

Во многих отношениях этот подход явно работает: в компании впечатляюще единообразная культура.Сотрудники работают сверхурочно и постоянно говорят о своей работе во время еды и в часы общения; многие ходят на одни и те же вечеринки и придерживаются рациональной философии «эффективного альтруизма». Они шутят, используя терминологию машинного обучения, чтобы описать свою жизнь: «От чего зависит ваша жизнь?» «Для чего вы оптимизируете?» «По сути, все является функцией minmax». Честно говоря, другие исследователи ИИ тоже любят это делать, но люди, знакомые с OpenAI, соглашаются: его сотрудники больше, чем другие в этой области, относятся к исследованиям ИИ не как к работе, а как к личности.(В ноябре Брокман женился на своей подруге одного года, Анне, в офисе на фоне цветов, размещенных в логотипе OpenAI. Суцкевер действовал как служащий; рука робота была держателем кольца.)

Но в какой-то момент в К середине прошлого года хартия стала чем-то большим, чем просто пищей для обеденных разговоров. Вскоре после перехода на максимальную прибыль руководство ввело новую структуру оплаты труда, частично основанную на том, чтобы каждый сотрудник принял миссию. Наряду с такими столбцами, как «инженерная экспертиза» и «направление исследований» на вкладке электронной таблицы под названием «Единая техническая лестница», последний столбец описывает ожидания, связанные с культурой, для каждого уровня.Уровень 3: «Вы понимаете и усваиваете хартию OpenAI». Уровень 5: «Вы гарантируете, что все проекты, над которыми вы и ваши коллеги работаете, соответствуют уставу». Уровень 7: «Вы несете ответственность за соблюдение и улучшение устава, а также за привлечение других сотрудников организации к ответственности за то же самое».

---

Впервые большинство людей услышало об OpenAI 14 февраля 2019 года. В тот день лаборатория объявила о новом впечатляющем исследовании: модели, которая могла генерировать убедительные эссе и статьи одним нажатием кнопки.Подайте ему предложение из «Властелин колец » или начало (фальшивой) новости о краже Майли Сайрус в магазине, и он будет выплевывать абзац за абзацем текста в том же духе.

Но была и загвоздка: модель под названием GPT-2 была слишком опасна для выпуска, сказали исследователи. Если такая мощная технология попадет в чужие руки, ее можно легко превратить в оружие для распространения дезинформации в огромных масштабах.

Реакция ученых последовала незамедлительно.Некоторые говорили, что OpenAI разыгрывает рекламный ход. GPT-2 не был достаточно продвинутым, чтобы представлять угрозу. И если это так, зачем объявлять о его существовании, а затем исключать общественный контроль? «Похоже, OpenAI пытался извлечь выгоду из паники вокруг ИИ», — говорит Бритт Пэрис, доцент Университета Рутгерса, изучающая дезинформацию, генерируемую ИИ.

Джек Кларк, директор по политике.

Christie Hemm Klok

К маю OpenAI пересмотрела свою позицию и объявила о планах «поэтапного выпуска».В течение следующих месяцев компания последовательно выпускала все более и более мощные версии GPT-2. Тем временем он также сотрудничал с несколькими исследовательскими организациями, чтобы изучить возможность злоупотребления алгоритмом и разработать меры противодействия. Наконец, в ноябре он выпустил полный код, не обнаружив, по его словам, «убедительных доказательств злоупотребления».

На фоне непрекращающихся обвинений в пропаганде OpenAI настаивал на том, что GPT-2 не был трюком. Это был, скорее, тщательно продуманный эксперимент, согласованный после ряда внутренних дискуссий и дебатов.По общему мнению, даже если на этот раз это было бы небольшим перебором, это действие создало бы прецедент для проведения более опасных исследований. Кроме того, в уставе было предсказано, что «соображения безопасности» постепенно вынудят лабораторию «сократить в будущем наши традиционные публикации».

Это был также аргумент, который команда разработчиков политики тщательно изложила в своем последующем шестимесячном сообщении в блоге, которое они обсуждали, когда я сидел на собрании. «Я думаю, что это определенно часть истории успеха», — сказал Майлз Брандейдж, ученый-политолог, подчеркнув что-то в документе Google.«Заголовок этого раздела должен быть таким: мы сделали амбициозную вещь, теперь некоторые люди копируют ее, и вот несколько причин, по которым это было выгодно».

Но медийная кампания OpenAI с GPT-2 также следовала хорошо зарекомендовавшей себя схеме, которая вызвала недоверие у более широкого сообщества ИИ. На протяжении многих лет громкие и громкие заявления лаборатории об исследованиях неоднократно обвинялись в разжигании ажиотажа вокруг искусственного интеллекта. Не раз критики также обвиняли лабораторию в том, что она разглашает свои результаты до искажения.По этим причинам многие в этой области стараются держать OpenAI на расстоянии вытянутой руки.

Обложки исследовательских релизов OpenAI висят на стене его офиса.

Christie Hemm Klok

Это не помешало лаборатории продолжать вкладывать ресурсы в свой общественный имидж. Помимо исследовательских работ, он публикует свои результаты в хорошо подготовленных сообщениях в блогах компании, для которых он делает все своими силами, от написания до создания мультимедиа и дизайна обложек для каждого выпуска. В какой-то момент она также начала работу над документальным фильмом об одном из своих проектов, который должен соперничать с 90-минутным фильмом об AlphaGo от DeepMind.В конечном итоге это превратилось в независимую постановку, которую Брокман и его жена Анна теперь частично финансируют. (Я также согласился появиться в документальном фильме, чтобы предоставить техническое объяснение и контекст достижения OpenAI. Мне не выплачивали за это компенсацию.)

И по мере увеличения отдачи, проводите внутренние обсуждения для ее решения. Сотрудники разочарованы постоянной внешней критикой, и руководство опасается, что это подорвет влияние лаборатории и ее способность нанимать лучших специалистов.Внутренний документ освещает эту проблему и стратегию охвата для ее решения: «Чтобы иметь политическое влияние на государственном уровне, мы должны рассматриваться как наиболее надежный источник исследований ML [машинного обучения] и AGI», — говорится в строке под раздел «Политика». «Широкая поддержка и поддержка со стороны исследовательского сообщества необходимы не только для получения такой репутации, но и для усиления нашего сообщения». Другой, в разделе «Стратегия», гласит: «Явно относитесь к сообществу машинного обучения как к заинтересованной стороне коммуникаций.Измените наш тон и внешний обмен сообщениями так, чтобы мы вызывали их враждебность только тогда, когда мы намеренно выбрали это ».

---

Была еще одна причина, по которой GPT-2 вызвал такую ​​резкую реакцию. Люди чувствовали, что OpenAI снова отступает от своих ранее обещаний открытости и прозрачность. Известие о коммерческом переходе через месяц, скрытое исследование сделало людей еще более подозрительными. Возможно ли, что технология была скрыта при подготовке к лицензированию в будущем?

Илья Суцкевер, соавтор. основатель и главный научный сотрудник.

Christie Hemm Klok

Но мало кто знал, что это не единственный раз, когда OpenAI решила скрыть свои исследования. Фактически, он держал в секрете другое усилие.

Существуют две преобладающие технические теории о том, что потребуется для достижения AGI. В одном уже есть все необходимые техники; просто нужно выяснить, как их масштабировать и собирать. С другой стороны, необходима совершенно новая парадигма; глубокого обучения, доминирующего в настоящее время метода в искусственном интеллекте, будет недостаточно.

Большинство исследователей находятся где-то между этими крайностями, но OpenAI неизменно находится почти исключительно на стороне масштабирования и сборки. Большинство его достижений было результатом использования значительно больших вычислительных ресурсов в технических инновациях, разработанных в других лабораториях.

Брокман и Суцкевер отрицают, что это их единственная стратегия, но строго охраняемые исследования лаборатории говорят об обратном. Команда под названием «Форсайт» проводит эксперименты, чтобы проверить, насколько далеко они могут продвинуть возможности ИИ, обучая существующие алгоритмы со все более большими объемами данных и вычислительной мощностью.Для руководства результаты этих экспериментов подтвердили его инстинкты о том, что комплексная стратегия лаборатории, основанная на вычислениях, является лучшим подходом.

Примерно шесть месяцев эти результаты были скрыты от общественности, потому что OpenAI рассматривает эти знания как свое главное конкурентное преимущество. Сотрудникам и стажерам было дано четкое указание не раскрывать их, а те, кто ушел, подписали соглашения о неразглашении. Только в январе команда без обычной помпы незаметно разместила статью об одной из основных баз данных с открытым исходным кодом для исследований ИИ.Люди, которые окружали эти усилия строгой секретностью, не знали, что делать с этим изменением. Примечательно, что за несколько месяцев до этого была опубликована еще одна статья с аналогичными результатами от разных исследователей.

Christie Hemm Klok

Вначале такой уровень секретности никогда не предполагался, но с тех пор стал привычным. Со временем руководство отошло от своей первоначальной веры в то, что открытость — лучший способ создать полезный ОИИ. Теперь важность молчания внушается тем, кто работает с лабораторией или в лаборатории.Это включает в себя никогда не разговаривать с журналистами без явного разрешения команды по связям с общественностью. После моих первых визитов в офис, когда я начал связываться с разными сотрудниками, я получил электронное письмо от руководителя отдела коммуникаций, в котором напоминало мне, что все запросы на собеседование должны проходить через нее. Когда я отказался, сказав, что это подорвет достоверность того, что мне говорят люди, она проинструктировала сотрудников держать ее в курсе моей работы. В сообщении Slack от Кларка, бывшего журналиста, позже хвалили людей за то, что они держат в секрете, когда репортер «вынюхивает».

В заявлении в ответ на эту повышенную секретность представитель OpenAI сослался на раздел своего устава. «Мы ожидаем, что проблемы безопасности и защиты уменьшат нашу традиционную публикацию в будущем», — говорится в разделе, «при одновременном повышении важности совместного использования исследований по безопасности, политике и стандартам». Представитель также добавил: «Кроме того, каждый из наших выпусков проходит через процесс информационной опасности для оценки этих компромиссов, и мы хотим публиковать наши результаты медленно, чтобы понять потенциальные риски и воздействия, прежде чем пустить в ход».

Один из самых больших секретов — это проект, над которым работает следующий OpenAI. Источники описали это как кульминацию его предыдущих четырех лет исследований: система ИИ, обученная изображениям, тексту и другим данным с использованием огромных вычислительных ресурсов. Для начального этапа была назначена небольшая команда, и ожидается, что другие команды, помимо своей работы, в конечном итоге присоединятся к делу. В день, когда об этом было объявлено на собрании всей компании, стажерам не разрешили присутствовать. Люди, знакомые с планом, предлагают объяснение: руководство считает, что это самый многообещающий способ достичь AGI.

---

Руководителем стратегии OpenAI является Дарио Амодеи, бывший сотрудник Google, который сейчас занимает должность директора по исследованиям. Когда я встречаюсь с ним, он кажется мне более взволнованной версией Брокмана. Он обладает такой же искренностью и чувствительностью, но с видом неуравновешенной нервной энергии. Когда он говорит, он выглядит отстраненным, его брови нахмурены, рука рассеянно теребит его кудри.

Амодеи делит стратегию лаборатории на две части. Первую часть, которая определяет, как компания планирует реализовать расширенные возможности искусственного интеллекта, он сравнивает с «портфелем ставок» инвестора.«Разные команды OpenAI разыгрывают разные ставки. Языковая команда, например, зарабатывает на теории, согласно которой ИИ может значительно улучшить понимание мира посредством простого изучения языка. Команда робототехники, напротив, выдвигает противоположную теорию, согласно которой для развития интеллекта требуется физическое воплощение.

Как и в портфеле инвестора, не все ставки имеют одинаковый вес. Но с точки зрения научной строгости все следует проверить, прежде чем выбросить.Амодей указывает на GPT-2, с его удивительно реалистичными автоматически генерируемыми текстами, как на пример того, почему важно сохранять непредвзятость. «Чистый язык — это направление, к которому в данной области и даже некоторые из нас относились несколько скептически», — говорит он. «Но теперь это похоже на« Вау, это действительно многообещающе »».

Со временем, когда разные ставки будут расти выше других, они будут привлекать более интенсивные усилия. Затем они произведут перекрестное опыление и объединятся. Цель состоит в том, чтобы иметь все меньше и меньше команд, которые в конечном итоге сойдутся в едином техническом направлении для AGI.Это именно тот процесс, который предположительно уже начался в последнем сверхсекретном проекте OpenAI.

Дарио Амодеи, директор по исследованиям.

Christie Hemm Klok

Вторая часть стратегии, как объясняет Амодей, сосредоточена на том, как сделать такие постоянно развивающиеся системы искусственного интеллекта безопасными. Это включает в себя обеспечение того, чтобы они отражали человеческие ценности, могли объяснить логику своих решений и могли учиться, не причиняя вреда людям в процессе. Команды, занимающиеся каждой из этих целей безопасности, стремятся разработать методы, которые можно будет применять в проектах по мере их развития.Например, методы, разработанные командой разработчиков объяснимости, могут использоваться для раскрытия логики, лежащей в основе конструкции предложений GPT-2 или движений робота.

Амодеи признает, что эта часть стратегии в некоторой степени случайна, построена не столько на устоявшихся теориях в этой области, сколько на интуиции. «В какой-то момент мы собираемся создать AGI, и к тому времени я хочу хорошо разбираться в этих системах, действующих в мире», — говорит он. «Во всем, где я сейчас не очень хорошо себя чувствую, я создаю и набираю команду, чтобы сосредоточиться на этом.

Несмотря на всю погоню за оглаской и секретность, Амодей выглядит искренним, когда говорит это. Возможность неудачи, кажется, беспокоит его.

«Мы находимся в неловком положении: мы не знаем, как выглядит AGI», — говорит он. «Мы не знаем, когда это произойдет». Затем, осторожно осознавая себя, он добавляет: «Разум любого человека ограничен. Лучшее, что я нашел, — это нанять других исследователей безопасности, у которых часто есть видения, отличные от естественных, о которых я мог подумать.Я хочу такого разнообразия и разнообразия, потому что это единственный способ уловить все ».

---

Дело в том, что в OpenAI на самом деле мало «вариаций и разнообразия» — факт, который я осознал уже на третий день в офисе. Во время одного обеда, который мне разрешили пообщаться с сотрудниками, я сел за самый разноплановый стол с большим отрывом. Менее чем через минуту я понял, что люди, которые там ели, на самом деле не были сотрудниками OpenAI. Neuralink, стартап Маска, работающий над интерфейсами компьютер-мозг, находится в одном здании и в столовой.

Даниэла Амодеи, руководитель отдела кадров.

Christie Hemm Klok

По словам представителя лаборатории, из более чем 120 сотрудников 25% — женщины или небинарники. По ее словам, в управленческой команде также есть две женщины, а руководство состоит из женщин на 30%, хотя она не уточнила, кто входит в эти команды. (Все четыре руководителя высшего звена, включая Брокмана и Альтмана, — белые люди. Из более чем 112 сотрудников, которых я определил в LinkedIn и других источниках, подавляющее число были белыми или азиатами.)

Честно говоря, такое отсутствие разнообразия типично для ИИ. В прошлом году отчет нью-йоркского исследовательского института AI Now показал, что женщины составляли только 18% авторов на ведущих конференциях по ИИ, 20% профессоров ИИ и 15% и 10% исследователей в Facebook и Google, соответственно. . «Определенно, предстоит еще много работы в академических кругах и в промышленности», — сказал представитель OpenAI. «Разнообразие и инклюзивность — это то, к чему мы относимся серьезно и постоянно работаем над улучшением, работая с такими инициативами, как WiML, Girl Geek и наша программа для ученых.”

Действительно, OpenAI попытался расширить свой кадровый резерв. В 2018 году он начал свою программу удаленных стипендиатов для недопредставленных меньшинств. Но только двое из первых восьми стипендиатов стали штатными сотрудниками, хотя и сообщили о положительном опыте. Наиболее частая причина отказа от проживания: требование жить в Сан-Франциско. Для Нади Роудс, бывшего ученого, а теперь ведущего инженера по машинному обучению в нью-йоркской компании, в городе было слишком мало разнообразия.

Но если разнообразие является проблемой для индустрии искусственного интеллекта в целом, это нечто более существенное для компании, чья миссия — равномерно распространять технологию среди всех. Дело в том, что в нем не представлены группы, которые больше всего рискуют остаться в стороне.

Также совсем не ясно, , как OpenAI планирует «распределить преимущества» AGI «всему человечеству», как часто говорит Брокман, ссылаясь на свою миссию. Руководство говорит об этом расплывчато и мало что сделало, чтобы конкретизировать детали.(В январе Институт будущего человечества при Оксфордском университете опубликовал отчет в сотрудничестве с лабораторией, в котором предлагалось распределять льготы путем распределения процентной доли прибыли. Но авторы указали на «важные нерешенные вопросы, касающиеся… способа, которым это будет реализовано. «Это моя самая большая проблема с OpenAI», — говорит бывший сотрудник, который говорил на условиях анонимности.

Christie Hemm Klok

«Они используют сложные технические приемы, пытаясь решить социальные проблемы с помощью ИИ», — повторяет Бритт Пэрис из Рутгерса.«Похоже, что у них действительно нет возможностей понять социальное. Они просто понимают, что это своего рода прибыльное место, чтобы позиционировать себя прямо сейчас ».

Брокман согласен с тем, что OpenAI в конечном итоге потребует как технических, так и социальных знаний для выполнения своей миссии. Но он не согласен с тем, что социальные проблемы нужно решать с самого начала. «В чем именно заключается этика или другие точки зрения? А когда вы их вносите и как? Одна стратегия, которую вы могли бы использовать, — это с самого начала попытаться приготовить все, что вам может понадобиться », — говорит он.«Я не думаю, , что эта стратегия, скорее всего, увенчается успехом».

Первое, что нужно выяснить, говорит он, — это то, как вообще будет выглядеть AGI. Только тогда пора «убедиться, что мы понимаем последствия».

---

Прошлым летом, через несколько недель после перехода на модель с ограничением прибыли и вливания 1 миллиарда долларов от Microsoft, руководство заверило сотрудников, что эти обновления функционально не изменят подход OpenAI к исследованиям. Microsoft хорошо соответствовала ценностям лаборатории, и любые попытки коммерциализации были бы далекими; поиск фундаментальных вопросов по-прежнему оставался бы в центре работы.

Какое-то время казалось, что эти заверения верны, и проекты продолжались в прежнем виде. Многие сотрудники даже не знали, какие обещания были даны Microsoft.

Но в последние месяцы давление коммерциализации усилилось, и необходимость в проведении прибыльных исследований больше не ощущается как нечто отдаленное будущее. Делясь с сотрудниками своим видением лаборатории на 2020 год в частном порядке, Альтман ясно говорит: OpenAI нужно зарабатывать деньги, чтобы проводить исследования, а не наоборот.

По словам руководства, это трудный, но необходимый компромисс, на который пришлось пойти из-за отсутствия богатых благотворительных спонсоров. Напротив, базирующаяся в Сиэтле некоммерческая организация AI2, амбициозно продвигающая фундаментальные исследования ИИ, получает свои средства из самодостаточного (по крайней мере, в обозримом будущем) пула денег, оставленного покойным Полом Алленом, миллиардером, наиболее известным своим соучредителем. Microsoft.

Но правда в том, что OpenAI сталкивается с этим компромиссом не только потому, что он не богат, но и потому, что он сделал стратегический выбор, чтобы попытаться достичь AGI раньше всех.Это давление заставляет его принимать решения, которые кажутся все более и более далекими от его первоначального намерения. Он склоняется к ажиотажу в своем стремлении привлечь финансирование и таланты, охраняет свои исследования в надежде сохранить преимущество и преследует сложную с точки зрения вычислений стратегию — не потому, что это рассматривается как единственный путь к AGI, а потому, что он кажется самым быстрым .

Тем не менее, OpenAI по-прежнему остается бастионом талантов и передовых исследований, наполненным людьми, искренне стремящимися работать на благо человечества.Другими словами, в нем все еще есть самые важные элементы, и еще есть время, чтобы это изменить.

Ближе к концу моего интервью с Роудс, бывшим удаленным ученым, я спрашиваю ее об OpenAI, которую я не должен исключать из этого профиля. «Думаю, на мой взгляд, есть проблемы», — нерешительно начинает она. «Некоторые из них, возможно, происходят из окружающей среды, с которой сталкивается; некоторые из них происходят от людей, которых он привлекает, и других людей, которых он оставляет без внимания ».

«Но мне кажется, что они делают что-то немного правильное», — говорит она.«У меня такое ощущение, что люди там очень стараются».

Обновление: Мы внесли некоторые изменения в эту историю после того, как OpenAI попросил нас пояснить, что, когда Грег Брокман сказал, что он не думает, что при разработке ИИ возможно «заложить этику в… с самого начала», он намеревался это означает, что этические вопросы нельзя было решить с самого начала, а не то, что их нельзя было решить с самого начала. Кроме того, после того, как он бросил Гарвард, он сразу же перешел в Массачусетский технологический институт, не дожидаясь года.Кроме того, он вырос не «на ферме», а «на ферме по интересам». Брокман считает это различие важным.

Кроме того, мы пояснили, что хотя OpenAI действительно «отказался от своего некоммерческого статуса», совет, который является частью некоммерческой организации, по-прежнему контролирует его, и что OpenAI также публикует свои исследования в форме сообщений в блогах компании. как, а не вместо исследовательских работ. Мы также скорректировали дату публикации статьи сторонних исследователей и принадлежность Питера Экерсли (бывшего, а не нынешнего директора по исследованиям Partnership on AI, которую он недавно покинул).

OpenAI · GitHub

OpenAI · GitHub

1. Набор инструментов для разработки и сравнения алгоритмов обучения с подкреплением.

   Python Бег 24,2 км 7k

2. OpenAI Baselines: высококачественные реализации алгоритмов обучения с подкреплением

   Python 11.5к 4k

3. MuJoCo — это физический движок для подробного и эффективного моделирования твердого тела с контактами. mujoco-py позволяет использовать MuJoCo из Python 3.

   Python Бег 1,6 км 521

4. Образовательный ресурс, который поможет любому изучить глубокое обучение с подкреплением.

   Python 6k 1,4 км

6. Тест Procgen: процедурно созданная игровая среда для тренажерного зала

   C ++ 487 89

Репозитории

• C ++ 168 236 13 2 Обновлено 21 мая 2021 г.
• Python Массачусетский технологический институт 214 1,084 19 3 Обновлено 21 мая 2021 г.
• Python Массачусетский технологический институт 35 год 132 3 3 Обновлено 21 мая 2021 г.
• Рубин Апач-2.0 66 1 0 0 Обновлено 18 мая 2021 г.

• спортзал

  Набор инструментов для разработки и сравнения алгоритмов обучения с подкреплением.

  Python 6 952 24 244 245 56 Обновлено 18 мая 2021 г.

• procgen

  Тест Procgen: процедурно созданная игровая среда для тренажерного зала

  C ++ 89 487 2 2 Обновлено 17 мая 2021 г.

• miniF2F

  Тест формальной математики

  Худой 4 46 0 0 Обновлено 17 мая 2021 г.
• Оболочка Апач-2.0 92 1 0 0 Обновлено 14 мая 2021 г.
• Python Массачусетский технологический институт 24 450 1 0 Обновлено 13 мая 2021 г.
• JavaScript Массачусетский технологический институт 17 38 0 8 Обновлено 9 мая 2021 г.
• C Массачусетский технологический институт 360 2,441 28 год 3 Обновлено 4 мая 2021 г.

• музыкальный автомат

  Код для статьи «Музыкальный автомат: Генеративная модель для музыки»

  Python 642 4380 136 7 Обновлено 1 мая 2021 г.
• Python Массачусетский технологический институт 33 169 3 4 Обновлено 30 апр.2021 г.

• ЗАЖИМ

  Предварительная подготовка контрастирующего языка и образа

  Блокнот Jupyter Массачусетский технологический институт 370 3,684 24 2 Обновлено 29 апр.2021 г.
• Идти Апач-2.0 28 092 6 0 0 Обновлено 29 апр.2021 г.

• поезд-прокген

  Код для статьи «Использование процедурной генерации для эталонного обучения с подкреплением»

  Python Массачусетский технологический институт 32 106 1 0 Обновлено 24 апр.2021 г.

• мультиагент-частица-envs

  Код для среды мультиагентных частиц, использованный в статье «Мультиагентный субъект-критик для смешанных кооперативно-конкурентных сред»

  Python Массачусетский технологический институт 483 1,164 41 год 7 Обновлено 22 апр.2021 г.

• нейро-ммо

  Код для статьи «Нейронная MMO: многоагентная игровая среда для обучения и оценки интеллектуальных агентов»

  Python Массачусетский технологический институт 168 1,271 4 4 Обновлено 20 апр.2021 г.

• ДАЛЛ-Э

  Пакет PyTorch для дискретного VAE, используемого для DALL · E.

  Python 330 2 717 9 2 Обновлено 10 апр.2021 г.

• Mujoco-Py

  MuJoCo — это физический движок для подробного и эффективного моделирования твердого тела с контактами. mujoco-py позволяет использовать MuJoCo из Python 3.

  Python 521 1,620 271 16 Обновлено 8 апр.2021 г.

• GPT-2

  Код для статьи «Языковые модели — многозадачные ученики без учителя»

  Python 3723 14 629 99 31 год Обновлено 31 марта 2021 г.

• InfoGAN

  Код для воспроизведения ключевых результатов из статьи «InfoGAN: обучение интерпретируемым представлениям с помощью информации, максимизирующей генеративные состязательные сети»

  Python 290 956 17 7 Обновлено 25 марта 2021 г.

• CLIP-featurevis

  код для воспроизведения некоторых диаграмм из статьи «Мультимодальные нейроны в искусственных нейронных сетях»

  Python 26 год 163 2 1 Обновлено 21 марта 2021 г.
• Python Массачусетский технологический институт 14 103 0 0 Обновлено 17 марта 2021 г.

• раскрутка

  Образовательный ресурс, который поможет любому изучить глубокое обучение с подкреплением.

  Python Массачусетский технологический институт 1,393 6 025 123 44 год Обновлено 16 марта 2021 г.
• Скрипт vim 6 5 0 0 Обновлено 25 февраля 2021 г.

• исходные данные

  OpenAI Baselines: высококачественные реализации алгоритмов обучения с подкреплением

  Python Массачусетский технологический институт 3,996 11 524 387 68 Обновлено 21 февраля 2021 г.
• Python Массачусетский технологический институт 305 1,128 9 2 Обновлено 18 февраля 2021 г.

• светиться

  Код для воспроизведения результатов в «Glow: Generative Flow with Invertible 1×1 Convolutions»

  Python Массачусетский технологический институт 478 2 773 52 10 Обновлено 1 февраля 2021 г.
• Python 48 294 3 0 Обновлено 27 января 2021 г.

Наиболее часто используемые темы

Загрузка…

человек

В этой организации нет открытых участников.Вы должны быть участником, чтобы узнать, кто является частью этой организации.

Вы не можете выполнить это действие в настоящее время. Вы вошли в систему с другой вкладкой или окном. Перезагрузите, чтобы обновить сеанс. Вы вышли из системы на другой вкладке или в другом окне. Перезагрузите, чтобы обновить сеанс.

Ультрасовременный ИИ машинного зрения OpenAI обманут рукописными заметками

Исследователи из лаборатории машинного обучения OpenAI обнаружили, что их современную систему компьютерного зрения можно обмануть с помощью инструментов не более сложных, чем ручка и блокнот.Как показано на изображении выше, просто записать имя объекта и наклеить его на другой может быть достаточно, чтобы обмануть программу и заставить ее неправильно идентифицировать то, что она видит.

«Мы называем эти атаки типографскими атаками », — пишут исследователи OpenAI в своем блоге. «Используя способность модели надежно читать текст, мы обнаруживаем, что даже фотографии рукописного текста часто могут обмануть модель». Они отмечают, что такие атаки похожи на «состязательные изображения», которые могут обмануть коммерческие системы машинного зрения, но их гораздо проще создать.

Состязательные изображения представляют реальную угрозу, но этот конкретный пример не слишком серьезен

Состязательные изображения представляют реальную опасность для систем, полагающихся на машинное зрение. Например, исследователи показали, что они могут обмануть программное обеспечение беспилотных автомобилей Tesla, чтобы без предупреждения менять полосу движения, просто наклеив на дорогу определенные наклейки. Такие атаки представляют собой серьезную угрозу для множества приложений искусственного интеллекта, от медицинских до военных.

Но об опасности, исходящей от этой конкретной атаки, по крайней мере на данный момент не о чем беспокоиться.Рассматриваемое программное обеспечение OpenAI представляет собой экспериментальную систему под названием CLIP, которая не используется ни в одном коммерческом продукте. Действительно, сама природа необычной архитектуры машинного обучения CLIP создала слабое место, которое позволяет этой атаке добиться успеха.

«Мультимодальные нейроны» в CLIP реагируют на фотографии объекта, а также на эскизы и текст. Изображение: OpenAI

CLIP предназначен для изучения того, как системы искусственного интеллекта могут научиться распознавать объекты без пристального наблюдения путем обучения на огромных базах данных пар изображений и текста.В этом случае OpenAI использовал около 400 миллионов пар изображение-текст, извлеченных из Интернета, для обучения CLIP, который был представлен в январе.

В этом месяце исследователи OpenAI опубликовали новую статью, описывающую, как они открыли CLIP, чтобы посмотреть, как он работает. Они обнаружили то, что они называют «мультимодальными нейронами» — отдельные компоненты в сети машинного обучения, которые реагируют не только на изображения объектов, но также на эскизы, мультфильмы и связанный с ними текст. Одна из причин, по которой это интересно, заключается в том, что он, кажется, отражает реакцию человеческого мозга на стимулы, когда отдельные клетки мозга реагируют на абстрактные концепции, а не на конкретные примеры.Исследование OpenAI предполагает, что системы искусственного интеллекта могут усваивать такие знания так же, как это делают люди.

В будущем это может привести к созданию более сложных систем технического зрения, но сейчас такие подходы находятся в зачаточном состоянии. В то время как любой человек может отличить яблоко от листа бумаги с написанным на нем словом «яблоко», программы вроде CLIP — нет. Та же способность, которая позволяет программе связывать слова и изображения на абстрактном уровне, создает эту уникальную слабость, которую OpenAI описывает как «заблуждение абстракции».”

Еще один пример типографской атаки. Не доверяйте ИИ, чтобы положить ваши деньги в копилку. Изображение: OpenAI

Другой пример, приведенный лабораторией, — нейрон в CLIP, который идентифицирует копилки. Этот компонент реагирует не только на изображения копилок, но и на цепочки знаков доллара. Как и в приведенном выше примере, это означает, что вы можете обманом заставить CLIP идентифицировать бензопилу как копилку, если вы наложите на нее строчки «$$$», как если бы она была вдвое дешевле в вашем местном хозяйственном магазине.

Исследователи также обнаружили, что мультимодальные нейроны CLIP кодируют именно те предубеждения, которые вы можете ожидать при поиске данных из Интернета. Они отмечают, что нейрон «Ближнего Востока» также связан с терроризмом, и обнаружили «нейрон, который возбуждает как темнокожих людей, так и горилл». Это повторяет печально известную ошибку в системе распознавания изображений Google, которая помечала чернокожих как горилл. Это еще один пример того, насколько машинный интеллект отличается от человеческого — и почему необходимо разобрать первый, чтобы понять, как он работает, прежде чем доверять свою жизнь ИИ.

, созданное, чтобы спасти нас от злого ИИ, OpenAI теперь нас обманывает

OpenAI начал свою деятельность в 2015 году как некоммерческая организация, миссия которой заключалась в защите человечества от злонамеренного искусственного интеллекта (ИИ). Цель основателей заключалась в том, чтобы, когда появился сверхчеловеческий ИИ, его изначальная цель заключалась в том, чтобы служить человечеству, а не подчинять его. В 2019 году OpenAI превратилась в коммерческую компанию, базирующуюся в Сан-Франциско, и получила от Microsoft инвестиции в размере одного миллиарда долларов. Похоже, что с этого момента все изменилось.

Есть хороший вопрос, возможен ли вообще сверхчеловеческий ИИ, как мы неоднократно указывали здесь, в Mind Matters News . Хотя некоторые задачи ИИ кажутся впечатляющими, часто, когда вы заглядываете под капот, вы обнаруживаете очень дорогостоящий трюк для вечеринки или постановочную демонстрацию. Обычно есть что-то реальное и стоящее, но это никогда не оправдывает шумиху.

На самом деле, как мы также указывали, реальная опасность заключается не в том, что ИИ обретет сверхчеловеческие способности, а в том, что мы убедимся, что он имеет, и уступим ему важные логические задачи, которые он не способен выполнять. .По мере того, как изощренность трюков AI-салона увеличивается, эта возможность увеличивается вместе с ним.

Последний выпуск OpenAI GPT-3 убедил некоторых людей в том, что революция в области искусственного интеллекта наступила. GPT-3 действительно представляет собой настоящий инженерный подвиг. Он использует довольно умный трюк, который позволяет выполнять множество очень гладких и интересных обработок естественного языка на поверхностном уровне.

Проблема в том, что по своей сути это просто механизм предсказания текста, и он не выходит далеко за рамки этого.Что он добавляет к этому миксу, так это возможность интересными способами параметризовать предсказание текста. В сочетании с несколькими тоннами данных иногда кажется, что это «размышление».

Например, несколько человек построили генераторы кода на основе GPT-3, где вводимые на естественном языке данные создают пользовательские интерфейсы. Другие создали целые статьи, в основном похожие на людей, на основе всего лишь отрывка текста. Он также может частично решить несколько основных арифметических задач, когда они сформулированы на естественном языке.

Проблема, как и в случае со всеми ИИ, в том, что он никогда не — это на самом деле. Опасность в том, что демонстрационные кейсы, представленные в СМИ, заставляют это выглядеть так, как есть.

Кевин Лакер дал GPT-3 не только демонстрационные примеры. Он обнаружил, что если вы дадите ему экземпляры основных арифметических вопросов в процессоре естественного языка, он получит правильный ответ. То есть, пока вы не наберете более трех цифр. После этого ответы начинают ошибаться.

Если вы спросите, он правильно ответит, что у жирафа два глаза, а у паука восемь глаз.Однако он также думает, что у вашей ноги два глаза, а у травинки — один.

Вы можете видеть, что мгновенная огласка впечатляющих успехов может заставить некоторых думать, что высококвалифицированный текстовый процессор действительно разработал модель мира и что он рассуждает об этом. Проблема в том, что неправильное понимание его возможностей приведет к тому, что люди будут полагаться на него в вещах, на которые он на самом деле не способен.

Предположим, кто-то усвоил продемонстрированные способности выполнять простую арифметику до трех цифр, как указание на то, что он действительно умеет математику (я имею в виду, что это компьютер, мы вроде как ожидаем, что он уже умеет математику).Затем представьте себе проблемы, с которыми они столкнулись бы, если бы они на самом деле полагались на это при вычислении в связи с предоставлением какого-либо продукта или услуги … Они довольно безопасны до четвертой цифры, но знают ли они об этом?

Для базовой обработки запросов на естественном языке GPT-3 — огромный шаг вперед. Для понимания общественностью того, что такое ИИ и что он делает (и в чем мы должны на него полагаться), его яркие демонстрации создали неправильные представления. Это может иметь опасные последствия.

AI — современный кумир.Как и наши предшественники, мы забываем, что идолы сделаны из обычных вещей. И мы раздавлены, когда воображаем, что они наши боги.

---

Вам также могут понравиться эти сообщения Джонатана Бартлетта:

Двадцать лет спустя инопланетяне по-прежнему вызывают глобальное потепление. Со временем, как заметил создатель Парка Юрского периода, наука отошла от своего основания как объективный поиск истины в сторону политических игр за власть.