Комментарии к колодцу Феруэлла

Fr0st @ 2.12.2016
Короче говоря:
"Методом проб и ошибок, полковник. Да уж, на пробы ничего не жалели."

Скорее не проб и ошибок, а многократного перекрытия.
Например для того чтобы получить расшифрованный геном некоторой степени достоверности, требуют аж двадцатикратное перекрытие всех его фрагментов из которых потом собирают полную последовательность. Меньше - менее достоверно (сгодится не для всех целей), больше - более достоверно, но дольше и дороже.

ZiingRR @ 2.12.2016
Так зачем решать вопрос, если нет мотивации его решать?

Нет мотивации решать на примитивном уровне, с потерей времени и утратой "собственного сознания".
При достижении бессмертия и сверхсветовых скоростей перемещения вопрос вполне рассматриваем.

ZiingRR @ 2.12.2016
Для создания ИИ есть и более "краткосрочные" стимулы, вроде личного обогащения или гонки вооружений между странами. Он, вероятно, и будет заниматься терраформацией. Желательно в интересах людей.

В том то и дело, что есть - поэтому я и оговорил крайний вариант, при котором он уж точно будет создан.
Поэтому обнаружение следов чьего-либо существования почти всегда будут следами наличия ИИ, т.к. с большей вероятностю будут обладать достаточными для обнаружения масштабами, чем следы деятельности какой-то там самозародившейся жизни.


"В интересах людей" - довольно странное и парадоксальное выражение. Как минимум, требующее уточнения "каких людей?".
В общем, если поразмышлять, попытка определить, что есть эти "интересы" всегда приводит к их же противоречивости.

Как один из примеров, допустим, всеобщий декларируемый "Интерес" при более детальном рассмотрении представляет из себя совокупность интересов групп,... затем подгрупп, и т. д., вплоть до отдельной особи.
В итоге такая "препарация" позволяет нам наблюдать "субстрат низменности" человеческих ценностей. Но это и есть тот самый, настоящий обезьяний инстинкт.

Zedmor @ 30.11.2016
Вот хочется в качестве иллюстрации для Фера и других, кто считает, что технологии возможно "контролировать".

Ты прямо с каким-то удовольствием это пишешь. Во-первых, ты зачем-то приписал мне позицию, что технологии можно легко контролировать. Я-то как раз осознаю проблему, просто моя реакция заключается в том, что надо пытаться что-то делать, а не сидеть сложа в руки, а твоя - мне вообще непонятна.

feruell, мне эмоционально близка позиция Зедмора, попробую пояснить.

Пример с ядерным оружием, который он привел, интересен вот чем:
Допустим, ведущие ученые, где-нибудь в 1930-х осознают всю опасность ядерных технологий и бьют тревогу, доводя до общественности опасность ядерной технологии и требуя запретить их.

Логичное развитие событий выглядит может выглядеть примерно так:
- Демократические страны резко тормозят развитие технологии, т.к. общественность против
- Фашистские и прочие изоляционистские режимы резко усиливают инвестиции в ядерные технологии.
- Правящие элиты любой страны мира становятся остро заинтересованы в фашизации внутреннего режима и в демонтаже демократии ради сохранения суверенитета страны.

Вероятно, после популяризации в массовом сознании идеи о вреде ядерного оружия, войну возможно будет отсрочить. При этом крупные страны будут, очевидно, наращивать свой ядерный потенциал и в мире к 1950г появятся тысячи ядерных бомб и даже эффективные способы доставки. Отсутствие возможности войны как способа разрядки международных отношений будет способствовать дальнейшей политической радикализации.
Сложится очень опасная ситуация - реальных примеров последствий применения ядерного оружия не будет, при этом милитаризм будет зашкаливать. В этой ситуации война может получиться намного более кровавой и массовой.

С этой точки зрения, применение ядерного оружия в 1945г, в то время когда во всем мире было всего 2 ядерные бомбы и не было нормальных средств их доставки - могло сработать в качестве прививки для всего мира.

"В интересах людей" - довольно странное и парадоксальное выражение. Как минимум, требующее уточнения "каких людей?".
В общем, если поразмышлять, попытка определить, что есть эти "интересы" всегда приводит к их же противоречивости.

Я об общей проблеме контроля и формализации человеческих ценностей говорил.

Подробнее тут (на русском):
http://spacemorgue.com/why-we-need-friendly-ai/

feruell @ 2.12.2016
Ты прямо с каким-то удовольствием это пишешь. Во-первых, ты зачем-то приписал мне позицию, что технологии можно легко контролировать. Я-то как раз осознаю проблему, просто моя реакция заключается в том, что надо пытаться что-то делать, а не сидеть сложа в руки, а твоя - мне вообще непонятна.

Ну мне кажется просто большой глупостью тратить на это время и ресурсы, потому что это нерешаемая задача, но более того, я полагаю, что эти действия скорее принесут вред, чем пользу. См. мой пример с "контролерами", которые решили поугрожать не совсем вменяемому парнишке.

https://lifehacker.ru/2016/12/01/kell-nordstrem/
Артём Дертев записал выступление Кьелла Нордстрема, автора книги «Бизнес в стиле фанк», о том, как изменится мир в ближайшем будущем.

Ferr, солидарен ли ты с идеями из статьи в части урбанизации , оцифрования и будущего формата стран и взаимодействия всех елементов жизни?

Zedmor, И на что ты тогда предлагаешь тратить ресурсы и время?

Zedmor @ 2.12.2016
Ну мне кажется просто большой глупостью тратить на это время и ресурсы, потому что это нерешаемая задача, но более того, я полагаю, что эти действия скорее принесут вред, чем пользу. См. мой пример с "контролерами", которые решили поугрожать не совсем вменяемому парнишке.

С кем именно ты споришь, кто предлагал бороться с новыми технологиями путём бюрократических ограничений?

В целом, кстати, я замечал, что наиболее умные люди на планете настроены альтруистично и активно что-то делают для помощи человечеству.

feruell @ 2.12.2016
В целом, кстати, я замечал, что наиболее умные люди на планете настроены альтруистично и активно что-то делают для помощи человечеству.

ошибка выжившего же. Ты не видишь тех миллионов умных, которые по ночам выходят отравлять колодцы, гадить в подъездах и выкручивать лампочки!

Khishtaki @ 2.12.2016
ошибка выжившего же. Ты не видишь тех миллионов умных, которые по ночам выходят отравлять колодцы, гадить в подъездах и выкручивать лампочки!

И один из них Обама

Для создания ИИ помимо алгоритмов нужны очень серьезные мощности. Закон Мура давно не работает, поэтому масштабировать можно только горизонтально. Будут какие-то законы, ограничивающие расчетную мощность системы, превышение которой будет трактоваться как агрессия, например. Разработку ИИ дома приравняют к изготовлению оружия, за это уже статья есть в УК.

valeg @ 2.12.2016
Для создания ИИ помимо алгоритмов нужны очень серьезные мощности. Закон Мура давно не работает, поэтому масштабировать можно только горизонтально. Будут какие-то законы, ограничивающие расчетную мощность системы, превышение которой будет трактоваться как агрессия, например. Разработку ИИ дома приравняют к изготовлению оружия, за это уже статья есть в УК.

Мощности, сравнимые с человеческим мозгом могут быть не нужны, если не заниматься его эмуляцией. У нас в голове происходит много вычислений, которые не понадобятся ИИ "с нуля". Ну, и эволюция хреновый инженер в конце концов. Возможно многие алгоритмы можно реализовать с меньшими затратами.

До разработки ИИ дома скорее всего никогда не дойдет. Все-таки сильный ИИ это особый случай. Это не какая-то там ядерная бомба или любая другая ограниченная вещь узконаправленного применения, это же штука всеобъемлющая. И тот, кто получит его первым, станет царем горы моментально и почти без шансов быть свергнутым. Это как гонка за всемогуществом, за god mod'ом, и она заканчивается сразу, как кто-то достигает цели. Нет вторых и третьих мест, победитель получает все. Полный контроль над всеми и полную неуязвимость. В идеале, конечно.

Хотя очень тяжело, конечно, оценить как оно все будет выглядеть на тот момент. Пока даже близко никто не приблизился к созданию сильного ИИ. Неизвестно, осуществима ли эта задача без применения квантовых компьютеров, которые сами неизвестно когда будут изобретены. Непонятно как будет выглядить мир к тому времени. Возможна как ситуация полной монополии и тот, кто первым получит ИИ тут же поставит на колени всех остальных, или могут быть какие-то сценарии ИИ-войн между различными странами, корпорациями. Но, мне кажется, до коленок в гараже все-таки не дойдет.

valeg @ 2.12.2016
Закон Мура давно не работает

Закон Мура "не работает" уже лет 40. Но это ему не мешает.
Отставание по количеству транзисторов на плате от закона Мура пока достаточно умеренное. И обозначает лишь локальный предел технологии кремниевых полупроводников. Нет причин говорить, что он принципиально не решаем.

valeg @ 2.12.2016
масштабировать можно только горизонтально

Можно и горизонтально. Например, объединением миллиардов домашних простаивающих процессоров, как это сделано в электронных валютах вроде биткоина.

valeg @ 2.12.2016
Будут какие-то законы, ограничивающие расчетную мощность системы

Это возможно. "Холодным оружием считается нож с лезвием длиной более 9см и толщиной более 0.6мм".
Однако придется еще и ограничивать объединение домашних процессоров, распределенных по сотне мировых юрсидикций.

2be @ 2.12.2016
Неизвестно, осуществима ли эта задача без применения квантовых компьютеров, которые сами неизвестно когда будут изобретены

1) Они уже изобретены. По крайней мере частично. См D-wave.
2) Пока нет серьезных причин полагать, что квантовые процессоры серьезно увеличат производительность вычисления широкого спектра задач. В теории, круг таких задач достаточно ограничен.

1) Они уже изобретены. По крайней мере частично. См D-wave.
2) Пока нет серьезных причин полагать, что квантовые процессоры серьезно увеличат производительность вычисления широкого спектра задач. В теории, круг таких задач достаточно ограничен.

1) Да, но это пока так, игрушки. До полноценного воплощения далеко и никто не знает насколько.
2) Это так, но во-первых прирост все равно будет, где-то небольшой, но где-то колоссальный. Во-вторых, как только такие компьютеры появятся, сразу начнутся и работы по оптимизации и совершенствованию, что может способствовать улучшению производительности по всему спектру задач.

2be @ 2.12.2016
2) Это так, но во-первых прирост все равно будет, где-то небольшой, но где-то колоссальный. Во-вторых, как только такие компьютеры появятся, сразу начнутся и работы по оптимизации и совершенствованию, что может способствовать улучшению производительности по всему спектру задач.

Ага.
Полковник курсантам:
- Характеристики аппаратуры: функционирует при температурах от -300°С до +300°С. Голос из зала:
- Извините, но ученые не знают таких температур, абсолютный ноль -273°С.
- Аппаратура секретная, ученые могли и не знать!

Должно быть, я неясно выразился:

Было показано, что не для всякого алгоритма возможно «квантовое ускорение». Более того, возможность получения квантового ускорения для произвольного классического алгоритма является большой редкостью
Квантовый компьютер

Совершенствованием технологии это не обойти. Для начала придется опровергнуть научную работу:
Quantum Computers Speed Up Classical with Probability Zero (pdf)

ZiingRR @ 1.12.2016
Fr0st, это ты сформулировал часть Великого Фильтра. Другой вариант - для зарождения и/или развития организмов до стадии колонизации космоса требуется просто невероятное стечение обстоятельств.

Учёные пока не нашли действительно серьёзных свидетельств в пользу этого, скорее даже наоборот. С другой стороны, что могло уничтожить дохреналлион инопланетных цивилизаций, одну за другой, тоже непонятно.

отсутствие таких свидетельств может всего лишь говорить о том, что развитым цивилизациям не интересна ни колонизация космических просторов, ни общение с недоразвитыми.

Kariy @ 2.12.2016
отсутствие таких свидетельств может всего лишь говорить о том, что развитым цивилизациям не интересна ни колонизация космических просторов, ни общение с недоразвитыми.

Если проблем нет, тогда развитых цивилизаций должно быть очень много. И достаточно одной, заинтересованной в колонизации, чтобы как-то себя проявить. Тем более, что первая цивилизация, которую мы наблюдаем (земляне), с немалой вероятностью таки будет заинтересована.