В последнее время часто звучат новости вида “ИИ научился…”. Кажется, тут есть фундаментальная проблема, которая от таких новостей лишь усугубляется.

1) В текущей парадигме (нейросети, глубокое обучение) ИИ представляет собой инструмент. Да, устроенный особым образом, так что не все детали в нем мы видим и напрямую контролируем, но инструмент. Он не является субъектом воли, права, этики, ответственности. Все это - прерогатива человека (разработчика, провайдера, пользователя). А значит, ответственность тоже на нем.

2) Усугубляет ситуацию лингвистическая неоднозначность: понятия “обучение”, “агент” являются абстракцией для описания определенных аспектов моделирования. Но при этом они (в общем понимании) характерны для людей - обучающихся агентов естественного интеллекта.

3) Проблема во многом состоит в том, что в глубоком обучении мы не контролируем все параметры, работая инструментами, которые настраивают инструменты. В то же время известна трактовка современного машинного обучения как “средневекового ремесла”: мастера знают “секреты” (часто найденные случайно), передают их, но объяснить не могут или объясняют “потусторонними силами”. Тем не менее, средневековые технологии сейчас вполне объяснимы.

4) Ввиду всего этого шаблонные заголовки вызывают подозрение либо в некомпетентности, либо в сознательной манипуляции ради выгоды или снятия ответственности человека. Так гильотину трактовали как инструмент, который казнит сам, а значит палач - не виновен. Не “ИИ впервые убил человека”, а “человек впервые убил с помощью новой технологии” (ракеты тоже вполне автономны). Не “ИИ заставляет программиста использовать сгенерированный код”, а “программист чувствует себя подавляемым из-за новой технологии” (тоже важно, но с другой стороны).

Естественно, ИИ-инструмент принципиально новый. Его появление меняет многие привычные инструменты. Более того, как и многие революционные технологии он меняет культуру человечества в широком смысле. Но при этом он остаётся инструментом, о чем не стоит забывать при всем восхищении прогрессом. И ответственность за использование инструмента остается на людях.

При этом остается и ряд смежных проблем:

  • Ввиду того что ИИ строится как модель человеческого рассуждения, может возникнуть вопрос, что будет при детализации модели. Но это во многом вопрос о соотношении карты и территории. Даже предельно детализированная карта не станет территорией. А если мы опишем волю в ИИ описание не станет волей.
  • В какой мере мы сами являемся людьми, в какой мере обладаем сознанием, свободой воли. В частности, тут возникает трудная проблема сознания (hard problem of consciousness по Д. Чалмерсу).
  • Как разделить живое - неживое (и разделять ли). Пока мы исходим из предположения, что эта граница - как раз то место где мы строим взаимодействие человек-ИИ. Возможно, когда появятся биокомпьютеры и/или когда поменяется принципы работы ИИ, все станет не настолько однозначным.
  • Также есть аргументы относительно сложности и эмерджентности в системах ИИ. Однако, пока на мой взгляд, эмерджентность хоть и присутствует, но не на том уровне как ввиду масштаба систем, так и ввиду алгоритмов работы.