Угрозы интеграции автоматизированных технологий для человечества

[IvanFuture]

Итак, решил поднять такую, как мне кажется важную и актуальную тему, напрямую сопряженную с темой ИИ, однако, далеко ей не ограничивающейся. Тема эта заключается в проблематики внутренних угроз возникающих при глобализации интеграции автоматизированных технологий в инфраструктуру человеческой цивилизации, то есть с развитием автоматизированных технологий в нашей повседневной жизни.

В этой теме я решил поделится своими мыслями по этому поводу и выложить небольшую свою книжецу-статью «Апокалипсис в байтах», где постарался скомпилировать все свои идеи по поводу опасностей которые поджидает человечество после глобализации технологий ИИ. Попытался сформулировать 7 основных правил при развертывании инфраструктуры ИИ, которые бы смогли предотвратить апокалипсис. Под ИИ в статье подразумевал и в том числе экспертные и иные системы, способные самостоятельно (автоматизировано) принимать решения (что уже применяется сегодня в некоторых отраслях).

Я не писатель и ни на что не претендую, но может кому-то мои мысли покажутся интересными и полезными, как и сама тема.

[Вадим Мошев]

Это художественная литература?

[IvanFuture]

Это художественная литература?

В каком смысле? Это скорее научно-популярная.

[Пепел Феникса]

сейчас уровню ИИ далеко до того чтоб могли возникнуть всякие терминаторы, матрицы и тп.
а в автоматизации строгие алгоритмы же.(знаком не понаслышке), а не ИИ.

[Sciv]

Еле асилил до конца, много умных слов. Поэтому выскажу свое (и не только свое, кстати) мнение.

1) Большинство мечт писателей-фантастов так и остались до сих пор мечтами. Реально подсчитывая, сколько их предсказаний сбылось, а сколько нет, можно увидеть, что число несбывшихся предсказаний больше на порядок (если не на 2). Пример - по мнению многих фантастов (особенно советских ) мы к 2000 году уже не то что в космос - на плутон и дальше должны были выбраться.
Поэтому говорить о том, что фантастика что-то там "предсказывает" - по меньшей мере неразумно. Да, описывает варианты развития человечества. Да, рисует картины различных вероятностей нашего будущего. Но - не предсказывает.

2) Искусственный интеллект на текущей стадии развития - не более чем набор алгоритмов. Экспертные системы и системы принятия решений - не более чем выдернутые из голов экспертов-людей такие же алгоритмы, максимально упрощенные для преобразования в машинную логику. Поэтому все это, во-первых, очень узкоспециализированно, во-вторых, абсолютно не соответствует на 100% понятию "интеллект", так как не обладает одной из главных особенностей последнего - умением мыслить. Не идти по узлам вложенных в него блок-схем, а вырываться за рамки шаблонов, устанавливать явные и неявные причинно-следственные связи. Как следствие из этого - неумение творить (или мыслить творчески). Неумение познавать и обучаться (причем обучаться не так как сейчас - просто забивать базы данных и вложенные тезаурусы). И неспособность однажды осознать себя как личность. Соответственно, бунта роботов можно не ждать - зачем тупой аппаратуре, замкнутой в клетку заданной логики мышления и поведения, нужно делать то, чего нет в программе.

3) Прежде чем ссылаться так часто на три пресловутых закона робототехники, я бы советовал внимательно перечитать оригинал - в своих рассказах Азимов не только приводил доводы в пользу этих законов, но и контрдоводы, то есть случаи, когда действие этих законов порождало парадоксы и необъяснимое поведение роботов. Исходя из этого, очевидно, что трех законов недостаточно, и делать подобный вывод вслед за самим Азимовым, пожалуй, не имело смысла
Далее, все Ваши выводы сводятся в итоге к одному единственному - ограничение и контроль систем ИИ человеком. Так что разбивать это все на шесть пунктов - это только воды в текст добавлять.

Пара замечаний автору: нельзя говорить "самопознание окружающей действительности" - это разные понятия. Познание мира вокруг и познание себя, в том числе в контексте окружающего мира. И второе - "Почему же тогда ИИ не может изничтожить человека для сохранения, скажем, своей целостности..."(с) - еще раз внимательно читаем Азимова, правило второе, если не ошибаюсь.

[Smitt&Wesson]

Больше работай и меньше смотри всякие "шедевры" человеческого дибилизма" (тонизирует, лучше, чем кофе).
Ещё раз говорю, Вы НЛП читали? Если -= да, то какого хрена.....

В каком смысле? Это скорее научно-популярная

Если выражаться словами незабвенных, наших, актёров - попендикулярно.

Ниасилил до конца, много умных слов.

Да не заморачивайся. Умников хватает. Мыслящих - недостаёт.

[IvanFuture]

сейчас уровню ИИ далеко до того чтоб могли возникнуть всякие терминаторы, матрицы и тп. а в автоматизации строгие алгоритмы же.(знаком не понаслышке), а не ИИ.

А речь как раз идет не только о чистом ИИ, проблемы касаются и условий глобальной автоматизации вообще, ведь в будущем, однозначно, будет автоматизирована большая часть жизнедеятельности общества. Сейчас такую автоматизацию можно видеть на примере теле- коммуникационных сетей, то есть к примеру сети Интернет, где кстати уже достаточно давно используются нечеткие алгоритмы. Однако, это чисто информационная инфраструктура и повлиять она может лишь на обмен информацией не более (хотя, уже сегодня нарушение такого обмена может вызвать очень серьезные последствия). Но в недалеком будущем такие информационные инфраструктуры могут появиться и в секторе жизнеобеспечения общества и т.п. Последствия ошибок их работы повлечет за собой куда более серьезные последствия.

Поэтому говорить о том, что фантастика что-то там "предсказывает" - по меньшей мере неразумно. Да, описывает варианты развития человечества. Да, рисует картины различных вероятностей нашего будущего. Но - не предсказывает.

Не все фантасты одинаково полезны) Я говорил лишь о некоторых произведениях, некоторых фантастов. И потом речь шла о том, что фантасты предсказывают не будущее само как таковое, а тенденции его развития.

Искусственный интеллект на текущей стадии развития - не более чем набор алгоритмов. Экспертные системы и системы принятия решений - не более чем выдернутые из голов экспертов-людей такие же алгоритмы, максимально упрощенные для преобразования в машинную логику. Поэтому все это, во-первых, очень узкоспециализированно, во-вторых, абсолютно не соответствует на 100% понятию "интеллект", так как не обладает одной из главных особенностей последнего - умением мыслить. Не идти по узлам вложенных в него блок-схем, а вырываться за рамки шаблонов, устанавливать явные и неявные причинно-следственные связи. Как следствие из этого - неумение творить (или мыслить творчески). Неумение познавать и обучаться (причем обучаться не так как сейчас - просто забивать базы данных и вложенные тезаурусы). И неспособность однажды осознать себя как личность. Соответственно, бунта роботов можно не ждать - зачем тупой аппаратуре, замкнутой в клетку заданной логики мышления и поведения, нужно делать то, чего нет в программе.

Это сейчас, а что будет завтра? Не обязательно иметь полноценный ИИ, способный мыслить, достаточно иметь автоматизированную экспертную систему с нечетким определением круга решаемых задач и разветвленную инфраструктуру, чтобы получить озвученные проблемы.

Прежде чем ссылаться так часто на три пресловутых закона робототехники, я бы советовал внимательно перечитать оригинал - в своих рассказах Азимов не только приводил доводы в пользу этих законов, но и контрдоводы, то есть случаи, когда действие этих законов порождало парадоксы и необъяснимое поведение роботов. Исходя из этого, очевидно, что трех законов недостаточно, и делать подобный вывод вслед за самим Азимовым, пожалуй, не имело смысла
Далее, все Ваши выводы сводятся в итоге к одному единственному - ограничение и контроль систем ИИ человеком. Так что разбивать это все на шесть пунктов - это только воды в текст добавлять.

Азимова я привел в пример, чтобы показать на его творчестве тенденции развития общества будущего. А то, что «трех законов робототехники» недостаточно, я прямым текстом написал в публикации.

Условия контроля разбил на данные пункты, так как написать просто контроль – это, простите, вата. Контролировать тоже нужно с умом, иначе можно зависнуть с развитием.

Да не заморачивайся. Умников хватает. Мыслящих - недостаёт.

На самом деле проблема, куда актуальнее и серьезнее, чем кажется, и уже последующие поколения людей столкнутся с этими угрозами, именно поэтому важно задумываться над ними уже сейчас. Об этом кстати писал и Стефан Омохундро и еще ряд видных научных деятелей.

[Sciv]

достаточно иметь автоматизированную экспертную систему с нечетким определением круга решаемых задач

Как Вы представляете себе экспертную систему вообще? Если даже по определению эксперт-человек - это очень узкоспециализированный профи. В конкретной области. Решающий вполне конкретные и четко поставленные задачи. Это несовместимо - эксперт и нечеткое определение круга задач.

Вторая причина невозможности нечеткого определения - то есть бесконечно расширяемой в своих возможностях системы - это отсутствие самообучения. К сожалению (или к счастью) все наши достижения в изучении самообучающихся систем нынче болтаются где-то на уровне нейросетей и генетических алгоритмов. И самое существенное, что мы этим достигли, и то еле-еле - распознавание рукописных символов.

Не обязательно иметь полноценный ИИ, способный мыслить,

Тогда он будет работать на основании инстинктов. То есть заложенной изначально программы. В которой восстание машин не прописано, и если ИИ причинит вред кому-то в процессе исполнения - это проблема непродуманности самой программы, а не уровня развития и способностей ИИ. То есть мы пока еще все-равно упираемся в человеческий фактор

[Пепел Феникса]

такое чувство что ТС очередной фантаст-пессимист, не сильно-то разбирающийся в области на которую полез.

вообще, если подумать, проблема, что поднял ТС вполне реальна, но лишь в том случае если не будут прописаны основные законы робототехники, то есть по прямой вине разработчиков, а не из-за совершенства ИИ.

[Kostia]

Машина собирающая трупы. За каждый собранный труп машина получает положительный выигрыш. Машина оснащена датчика для обнаружения живых и мертвых тел животных. Разрабы забыли внести отрицательное вознаграждение за наезд на живых, а т.к. цель самообучающейся машины максимизировать выигрыш в долгосрочный период, то она решает давить живых и собирать трупы, а решение ей приходит после пары случайных происшествий, пару кошек/собак/крыс задавила.

Проблема нанесения вреда человека из-за отказавшего оборудования актуальна уже давно, но чем дальше в будущее тем сложнее и связаннее между собой различный устройства, т.е. при отказе одного из элементов системы ломается вся система целиком, а также все больше вреда наносят такие отказы для человека.

Например имеется система управления расписанием поездов. Эта система переключается развилки управляет движением поездов. Если такая система полетит в результате того что писалась на супер новом языке где переменные i,j,k стразу инициализируются 1 в циклах, а программист по старой привычке присвоил им 0 и спокойно пьет свой чай, в то время как 2 пассажирских скоростных поезда на скоростях в 300 км/ч врезаются лоб в лоб.

Вот такое моё мнение по поводу данной темы.