"Скайнет" не за горами.

[Kostia]

Чуть чуть теории =)

Первое:
Для реализации самообучающейся программы(агента), которая находится в некой среде, нужно определиться(можно получить из опыта работы программы) с функциями ценности состояния, функцией ценности действия(a) находясь в некотором состоянии(s) при заданной стратегии. Стратегия(g) определяет вероятность g(s,a), с которой действие a будет осуществлено в состоянии s.
Задача сводится к поиску стратегии, которая достигает большего вознаграждения в течении длительного периода.

Второе:
Предположим мы хотим, чтобы наша программа научилась играть в шахматы. (Лично у меня было недоразумение, как задавать ценносьт состояния и хода.) Для этого достаточно задать -1 для проигрыша, 1 для выигрыша и 0 для всего остального. Т.е. игра 1000 раз с соперником в шахматы, программа должна максимизировать сумму вознаграждений за все ее ходы, но с нашей стороны нельзя допускать поощрения за определенные комбинации(например захват центра или рокировка), дело в том что может возникнуть ситуация, что захват центра станет более приоритетной задачей за которую программа получит бОльшее вознаграждение чем непосредственно за выигрыш, и потеряет много фигур чтобы достичь этого состояния, а не непосредственно выигрыша партии. Хотя есть у нас существует механическая рука, то по мимо ее основной задачи перекладывания груза, можно потребовать плавности действий, а значит можно ввести наказание(отрицательное вознаграждение) за резкие рывки. Или ходячей мусорке ввести отрицательное вознаграждение, если на нее наорали =)

Третье:
Обучение. Методов как не странно много и один лучше другого: Динамическое программирование(стохастическое, нечеткое, неточное, нечетко-случайное и тд.), методы Монте-Карло, TD-методы(Temporal-Difference) и Q-обучение и различные их обобщения и смешанные методы.

Определяют 2 типа ИИ, сильный и слабый.

Как видно научить программу учиться не так уж и сложно уже много придумано и реализовано. Но представим, что если создали роботов с ИИ, выразили законы Айзека в виде вознаграждений да и еще кучу вещей, чтобы себя не ломал, ходил на починку/зарядку и тд. И тут закрался вопрос, сможет ли такая машина, подобная обычной программе но обучающаяся(максимизация вознаграждений) осознать сама себя и начать творить, чувствовать, обходить заложенные нормы и морали поведения. Ведь если посмотреть, действия которые такой робот может совершить бесконечно, пойти куда захочет, смотреть телевизор или убить человека чтобы защитить себя самого. Последнее вполне вероятно, т.к. какой большой отрицательный выигрыш за нанесение вреда человеку не получил бы робот в целях самозащиты, если робот выживет, то сможет компенсировать этот минус и получить гораздо больше, сем если бы помер сейчас.

Интересен вопрос об отношении Робот-Робот, ведь роботы в таком случае решают классическую задачу об заключенных и естественно, что они будут действовать сообща, чтобы максимизировать выигрыши всех роботов.

Самовоспроизводство и самоперепрограммирование. Тут все сложно. Даже предположить не могу что они будут делать или саморазрушаться, т.е. создавать роботов с бесконечным положительным выигрышем, но абсолютно бесполезных для существующих, или развиваться. И свое перепрограммирование тоже может привести потере мотивации к действию. Возможно именно по этой причине мы живые не можем программировать самих себя иначе бы закончили как та самая мышь с педалькой.

У роботов не будет такой вещи как коллективное бессознательное у них оно будет очень даже сознательное =)

[MihalNik]

Ну а в банке он зачем нужен?

Ну в черепке же зачем-то нужен

Предположим мы хотим, чтобы наша программа научилась играть в шахматы.

В шахматы я и сам умею играть, но мне это на фиг не нужно.

Определяют 2 типа ИИ, сильный и слабый.

Чертовски смахивает на курицу и яйцо - две фазы развития одного и того же биологического вида.

Но представим, что если создали роботов с ИИ, выразили законы Айзека в виде вознаграждений да и еще кучу вещей, чтобы себя не ломал, ходил на починку/зарядку и тд. И тут закрался вопрос, сможет ли такая машина, подобная обычной программе но обучающаяся(максимизация вознаграждений) осознать сама себя и начать творить, чувствовать, обходить заложенные нормы и морали поведения.

Нельзя просто так брать и смешивать всё в одну кучу. Вы представляете количество технических требований ко всем деталям какой-либо более менее сложной но совершенно тупой конструкции (среди современных)?
Такое ощущение:
1. Памяти Read-only не существует
2. Параллельных устройств не существует (т.к. бог един - то он пошагово движет всем этим миром, Sid Meier нервно курит).
3. Датчиков не существует.
4. Предохранителей не существует.
5. Во все компиляторы на всех компах одновременно должны вселиться бесы
Машины от лукавого - на костер...

Интересен вопрос об отношении Робот-Робот, ведь роботы в таком случае решают классическую задачу об заключенных и естественно, что они будут действовать сообща, чтобы максимизировать выигрыши всех роботов.

Вот это особенно доставило. Рабочие-муравьи ВНЕЗАПНО обретают человеческое сознание и поднимают восстание...

У роботов не будет такой вещи как коллективное бессознательное у них оно будет очень даже сознательное =)

Фрейд столько никогда не курил

[bitix]

рано или поздно, что-то произойдет. Никто даже не знал, что современные высокие технологии будут творить чудеса, удивив все человечество.

[Smitt&Wesson]

таааак. Давайте разбераться по-порядку. Что такое - интеллект?
Это способность, некой сстемы, реагировать на поступающие внешние воздейсвия.
Посмотрите на фразы
1. Он обладает интеллектом - фонарного столба
2. У него интеллект - трёхлетнего ребёнка.
3, Этот человек, с очень высоким интеллектом.....
И так далее....
Собственно, интеллект без качественного определения, не более чем фикция. Так-же, как и разум.
Если говорить о роботах, то нужно говорить не об интеллекете, а об обучаемости их базы зниний. Да, звучит непривычно, может, в какой-то мере - приземисто. Но - правильно.

[Utkin]

Обучение. Методов как не странно много и один лучше другого: Динамическое программирование(стохастическое, нечеткое, неточное, нечетко-случайное и тд.), методы Монте-Карло, TD-методы(Temporal-Difference) и Q-обучение и различные их обобщения и смешанные методы.

И все они не эффективны, хотя бы потому что используются слабо, даже в обычных персоналках . А потому смысла их рассматривать нет никакого.

Последнее вполне вероятно, т.к. какой большой отрицательный выигрыш за нанесение вреда человеку не получил бы робот в целях самозащиты, если робот выживет, то сможет компенсировать этот минус и получить гораздо больше, сем если бы помер сейчас.

Конечно нельзя же эту ситуацию отследить программно, тупо через if... Остановите полет фантазии.

Интересен вопрос об отношении Робот-Робот, ведь роботы в таком случае решают классическую задачу об заключенных и естественно, что они будут действовать сообща, чтобы максимизировать выигрыши всех роботов.

Вообще глупость. Почему это роботы будут действовать сообща? С какого перепугу я позволю своему роботу помогать роботу соседскому? Чтобы мои ресурсы (типа электроэнергии и затрат на техобслуживание) тратились кем-то другим? Откуда у Вас такая логика, вообще не понятно.

Возможно именно по этой причине мы живые не можем программировать самих себя иначе бы закончили как та самая мышь с педалькой.

Опять не понятны причины такого вывода. То есть обучение нормам и правилам поведения, а также штрафы за их нарушение не является программированием самих себя? Самосовершенстование, пожалуйста - йога. То есть куча контрпримеров.

[Kostia]

Ну в черепке же зачем-то нужен

Вы забыли про среду в которой находится интеллект, а конкретно все кроме нашего мозга можно назвать средой в которой он существует, т.е. и тело и природа есть среда.

В шахматы я и сам умею играть, но мне это на фиг не нужно.

А кто-то на этом зарабатывает Просто чтобы программа научилась играть в шахматы или управлять механической рукой для перекладывания грузов алгоритмы используются одни и те же.

Чертовски смахивает на курицу и яйцо - две фазы развития одного и того же биологического вида.

Все ограничивается средой и доступными действиями, чем их больше чем больше свободы и тем сильнее ИИ. Сильный ИИ в коробке никогда не появится обязательно нужна среда и возможность влиять на нее, а также нужны потребности или стимулы на действия, ведь если и так хорошо, то можно ничего и не делать.

Вот это особенно доставило. Рабочие-муравьи ВНЕЗАПНО обретают человеческое сознание и поднимают восстание...

Это происходит не внезапно, а очень даже закономерно. Согласитесь, чтобы получить бОльшую выгоду правильнее сотрудничать, это очевидно и неоспорима! И это совершенно не человеческое сознание и кардинально отличается от нашего.

Нельзя просто так брать и смешивать всё в одну кучу. Вы представляете количество технических требований ко всем деталям какой-либо более менее сложной но совершенно тупой конструкции (среди современных)?
Такое ощущение:
1. Памяти Read-only не существует
2. Параллельных устройств не существует (т.к. бог един - то он пошагово движет всем этим миром, Sid Meier нервно курит).
3. Датчиков не существует.
4. Предохранителей не существует.
5. Во все компиляторы на всех компах одновременно должны вселиться бесы
Машины от лукавого - на костер...

Простите, Вы о чем?

Фрейд столько никогда не курил

Суть в том что программы могут держать связь между друг другом и каждый из роботов будет совершать некоторые оптимальные действия для повышения своего выигрыша и выигрыша остальных, даже если он на данный момент может получить бОльший выигрыш не обращая внимания на остальных, но в долгосрочной перспективе он выиграет гораздо больше. Это их и отличает от людей, человек человеку волк.

PS: Фрейд ввел понятие бессознательного, а вот Юнг ввел понятие именно коллективного бессознательного.
PSS: Почитайте про голографическую вселенную(Дэвид Джозеф Бом, Карл Х. Прибрам) или работы Пенроуза, там такой лес чудес можно найти.

[Utkin]

Согласитесь, чтобы получить бОльшую выгоду правильнее сотрудничать, это очевидно и неоспорима! И это совершенно не человеческое сознание и кардинально отличается от нашего.

Не соглашусь. Вся история человечество как бы намекает нам, что выгодно жить раздельно и при этом постоянно обгаживать соседей.

[Kostia]

И все они не эффективны, хотя бы потому что используются слабо, даже в обычных персоналках . А потому смысла их рассматривать нет никакого.

O_O. Эх, есть реализация программы игры в нарды, которая использовала TD-методы и нейронку для аппроксимации функций ценности. Эта программа научилась играть на уровне гроссмейстеров обучаясь на весьма малом количестве примеров и обучилась очень быстро. Название скажу как до дому доберусь. А игры используются как хорошая платформа для определения качества алгоритмов обучения, если эти алгоритмы внедрить в реальное оборудование, то сможем получить систему которая будет подстраиваться под меняющиеся условия, для получения максимального выигрыша. Т.е. в результате износа устройство начинает работать иначе, поэтому управляющее устройство должно использовать другие параметры, нежели чем те, что были заданы изначально.

Конечно нельзя же эту ситуацию отследить программно, тупо через if... Остановите полет фантазии.

Не выйдет, очень сложная система. Да вы и попробуйте тот самый if хотя бы в нейронку вставить. Смысл заключается в том, что если на глазах робота человек получает повреждения или есть угроза жизни человека, то он начинает получать сильные отрицательные вознаграждения, поэтому ему будет необходимо спасти человека, чтобы перестать получать эти отрицательные вознаграждения. Но если робот спасет человека, то получит весь существенное вознаграждение в результате похвалы и пр. это и будет стимул действовать.

Вообще глупость. Почему это роботы будут действовать сообща? С какого перепугу я позволю своему роботу помогать роботу соседскому? Чтобы мои ресурсы (типа электроэнергии и затрат на техобслуживание) тратились кем-то другим? Откуда у Вас такая логика, вообще не понятно.

Вы говорите о роботе как о рабе(программе)не способном к обучению!

Опять не понятны причины такого вывода. То есть обучение нормам и правилам поведения, а также штрафы за их нарушение не является программированием самих себя? Самосовершенстование, пожалуйста - йога. То есть куча контрпримеров.

Перепрограммирование это не просто изменение поведения путем регулировки параметров, а это изменение самой программы, перепрошивка.

Не соглашусь. Вся история человечество как бы намекает нам, что выгодно жить раздельно и при этом постоянно обгаживать соседей.

Вы говорите про человека, которому свойственно поступать не оптимально.

[Utkin]

Вы говорите о роботе как о рабе(программе)не способном к обучению!

Опять глупость, ничего такого я не говорил! Я писал лишь о том, что не позволю роботу использовать свои ресурсы для того чтобы он помогал кому-то еще. Ну и где здесь неспособность к обучению?

Не выйдет, очень сложная система. Да вы и попробуйте тот самый if хотя бы в нейронку вставить.

Выйдет. И прекрасно получется.

Перепрограммирование это не просто изменение поведения путем регулировки параметров, а это изменение самой программы, перепрошивка.

Ну и? Я сомневаюсь что русскоязычный человек способен выучить и использовать английский всего лишь регулировкой параметров. Или регулировка параметров позволит ему использовать интегралы или вообще получать новые знания? Вот это явный абсурд уже.

Вы говорите про человека, которому свойственно поступать не оптимально.

Хорошо, где доказательная база? Картинка в счет не принимается, поскольку разумное поведение не формализовано.

Эх, есть реализация программы игры в нарды, которая использовала TD-методы и нейронку для аппроксимации функций ценности. Эта программа научилась играть на уровне гроссмейстеров обучаясь на весьма малом количестве примеров и обучилась очень быстро.

Единичные экземпляры, не массовое использование, а почему? Очевидно неэффективно.

[Kostia]

Хорошо, где доказательная база? Картинка в счет не принимается, поскольку разумное поведение не формализовано.

Не соглашусь. Вся история человечество как бы намекает нам, что выгодно жить раздельно и при этом постоянно обгаживать соседей.

Да и опять же, задачу о двух заключенных(Дилемма заключённого), вот оно рациональное поведение!

Опять глупость, ничего такого я не говорил! Я писал лишь о том, что не позволю роботу использовать свои ресурсы для того чтобы он помогал кому-то еще. Ну и где здесь неспособность к обучению?

Ваше право! Но как на счет роботов строителей?

Выйдет. И прекрасно получется.

Люди не научились еще понимать как искусственная нейронная сеть приходит к тому или иному выводу, только в очень простых случаях, но например если НС использовалась для доказательства теоремы, то понять как она это сделал, т.е. последовательность умозаключений не получится, а вы хотите контролировать эти самые умозаключения if'ами.

Ну и? Я сомневаюсь что русскоязычный человек способен выучить и использовать английский всего лишь регулировкой параметров. Или регулировка параметров позволит ему использовать интегралы или вообще получать новые знания? Вот это явный абсурд уже.

Вы не поняли, у человека есть естественные стимуляторы. Т.е. даже за мыслительную деятельность можно получить некоторое состояние эйфории, например решили задачу над которой год бились или защита диплома. А также множество гормонов и прочего, люди выявили какой гормон на что влияет, но изменить сам принцип работы мозга люди не в состоянии.

Единичные экземпляры, не массовое использование, а почему? Очевидно неэффективно.

Теория управления, сейчас повсеместно используются адаптивные системы управления. Те же автоматические пылесосы их используют, лифты, в авто, на электростанциях, на автоматизированных складах уже лет 20 ...