13 бывших и нынешних сотрудников OpenAI, получивших одобрение «Крестных отцов ИИ», обрисовали 4 ключевые меры по устранению рисков ИИ

от

13 бывших и нынешних сотрудников OpenAI, получивших одобрение «Крестных отцов ИИ», обрисовали 4 ключевые меры по устранению рисков ИИ

Что тебе нужно знать

  • Действующие и бывшие сотрудники OpenAI подписали открытое письмо (одобренное организацией «Крестные отцы ИИ»), в котором рассматриваются и представляются способы снижения рисков, связанных с ИИ.
  • Некоторые из мер включают запрет компаниям, занимающимся искусственным интеллектом, обеспечивать соблюдение соглашений о неразглашении, которые ограничивают критику компании из-за опасений, связанных с рисками.
  • Это произошло после того, как OpenAI была уволена за то, что, как сообщается, принуждала уходящих сотрудников подписывать соглашения о неразглашении или подвергалась риску потерять принадлежащий им капитал.

Как технический энтузиаст, внимательно следящий за развитием искусственного интеллекта, я нахожу эту ситуацию в OpenAI глубоко тревожной. Сообщения о психологическом насилии и замалчивании сотрудников посредством соглашений о неразглашении вызывают тревогу и противоречат самим принципам прозрачности и открытости, которые необходимы для прогресса в такой важной области.

Как исследователь, изучающий разработки в области искусственного интеллекта, я недавно обратил внимание на интригующий поворот событий. В разгар долгожданного мероприятия Spring Update, на котором OpenAI продемонстрировала свою новую флагманскую модель GPT-40, несколько членов команды приняли решение покинуть компанию. Среди них был Ян Лейке, который играл важную роль в качестве руководителя суперсогласования — важнейшего аспекта обеспечения этичного поведения систем ИИ и соответствия человеческим ценностям.

Решение ведущего руководителя уйти было вызвано постоянными конфликтами, касающимися протоколов безопасности, мониторинга продукции и определения приоритетности блестящих товаров. Впоследствии это развитие привело к множеству проблем для растущего стартапа. Бывшие члены совета директоров OpenAI рассказали о случаях предполагаемого психологического насилия со стороны генерального директора Сэма Альтмана.

Растет беспокойство по поводу генеративного ИИ и его потенциальных последствий. Поскольку достижения в этой области продолжают быстро развиваться, некоторые эксперты предупреждают о зловещих последствиях для человечества, таких как окончательный конец человеческого существования. Кроме того, есть сообщения о том, что ИИ вскоре захватит рабочие места, превратив их в досуг, а не в источник дохода. Как сообщает Business Insider, бывшие и нынешние сотрудники ведущих компаний в области искусственного интеллекта, таких как OpenAI, Anthropic и DeepMind, написали письмо, чтобы привлечь внимание к этим рискам.

В письме содержится просьба о защите информаторов по вопросам, которые могут представлять непосредственную опасность для человечества:

Как бывшие и нынешние сотрудники новаторских компаний, занимающихся искусственным интеллектом (ИИ), мы осознаем огромную перспективу этой технологии произвести революцию в различных аспектах человеческой жизни. В то же время мы осознаем потенциальные опасности, которые с этим связаны. Эти риски включают в себя усугубление существующего неравенства, возможность манипулирования и распространения дезинформации и даже угрозу существованию человечества из-за неконтролируемых автономных систем искусственного интеллекта.

При поддержке известных «пионеров ИИ» Йошуа Бенджио и Джеффри Хинтона появилось письмо с подписями 13 сотрудников известных организаций, занимающихся искусственным интеллектом (ИИ). Дэниел Кокотайло, бывший сотрудник OpenAI, заявил о своей отставке из-за разочарования в ценностях компании, особенно в ее приверженности этическим соображениям при развитии ИИ.

«Многие, в том числе и они, придерживаются менталитета «идти быстро и разрушать вещи», который противоречит тому, что требуется для работы с такими сложными и малоизученными технологиями, как эта».

Сторонники ИИ выделяют четыре ключевых требования, которые могут помочь смягчить некоторые проблемы и опасности, связанные с этой технологией. Эти требования таковы:

  1. Что компания не будет заключать или обеспечивать соблюдение каких-либо соглашений, которые запрещают «унижение» или критику компании из-за опасений, связанных с рисками, а также не будет принимать ответных мер за критику, связанную с рисками, препятствуя получению какой-либо экономической выгоды;
  2. Что компания будет способствовать проверяемому анонимному процессу для нынешних и бывших сотрудников, чтобы они могли сообщить о проблемах, связанных с рисками, совету директоров компании, регулирующим органам и соответствующей независимой организации с соответствующим опытом;
  3. Что компания будет поддерживать культуру открытой критики и позволит своим нынешним и бывшим сотрудникам сообщать общественности, совету директоров компании, регулирующим органам или соответствующей независимой организации, обладающей соответствующим опытом, о проблемах, связанных с рисками, связанными с ее технологиями, при условии, что поскольку коммерческая тайна и другие интересы интеллектуальной собственности надлежащим образом защищены;
  4. Компания не будет принимать ответных мер в отношении нынешних и бывших сотрудников, которые публично делятся конфиденциальной информацией, связанной с риском, после того, как другие процессы оказались неудачными. Мы признаем, что любые усилия по сообщению о проблемах, связанных с риском, должны избегать ненужного раскрытия конфиденциальной информации. Поэтому, как только существует адекватный процесс анонимного сообщения о проблемах совету директоров компании, регулирующим органам и соответствующей независимой организации с соответствующим опытом, мы согласны с тем, что на начальном этапе проблемы следует сообщать посредством такого процесса. Однако до тех пор, пока такого процесса не существует, нынешние и бывшие сотрудники должны сохранять свободу сообщать о своих опасениях общественности.

Как исследователь, изучающий последние разработки в OpenAI, я сталкивался с отчетами, в которых говорилось, что увольняющиеся сотрудники обязаны подписывать соглашения о неразглашении информации (NDA), что ограничивает их от критики компании и рискует конфисковать принадлежащий им капитал. Генеральный директор OpenAI Сэм Альтман признал, что его смущает эта ситуация, но пояснил, что компания никогда не возвращала чьи-либо принадлежащие ей опционы на акции.

Когда я разговаривал с Business Insider, я ясно дал понять, что OpenAI осознает важность продолжающихся дебатов вокруг искусственного интеллекта. Чтобы сохранить нашу приверженность передовым исследованиям в области искусственного интеллекта и одновременно снизить потенциальные риски, мы стремимся тесно сотрудничать с соответствующими организациями и экспертами. Поступая таким образом, OpenAI продолжит стремиться создавать самые передовые и безопасные системы искусственного интеллекта.

Смотрите также

2024-06-05 18:20