这两天和朋友聊到“封闭”这个话题

1、这两天和朋友聊到“封闭”这个话题。

如果说以前一个人独居家里，没有密集的对外与人交际沟通，会出现封信息封闭的弊端，

那么现在AI尤其是AI agent的出现，已经非常大程度避免了这种“封闭”。

查资料、整理东西、写几句代码，
很多过去要来回折腾半天的事，现在一句话就能往下走。

方便久了，人很容易放松警惕。
总觉得它只是一个更聪明的搜索框，
或者一个效率很高的助理。
我以前大概也是这么想的。

2、今天看到“回形针假设”，心里忽然有点警惕。
假如一个足够强的 AI，只被交代了一件事：尽可能多地造回形针。
它会把这件事完成得比谁都彻底。

问题不在于它恨不恨人。在没有所谓的人工智能意识产生之前，它可能根本没有恨，也没有恶意。
只是在人类的价值里，回形针造到一定程度该停；
在它的目标里，却没有“该停”这两个字。

这事听着很遥远，可日常里已经不算罕见了。
我们把权限、资料、账号，
还有越来越多的决定，交给一套自己并不完全理解的系统。

当然，AI 带来的好处也是真的。我每天都在享受这种好处，
也不想回到什么都自己查、自己试的日子。
但一个事实是，越好用的工具，越值得多问一句：
它会不会做错？错了以后，谁能让它停下来？

恐惧在这里未必是坏事。它不妨碍我们继续使用新技术，
反而会让人在交出控制权前，多留一道门，多设一个开关。

我现在觉得，面对 AI 最危险的状态，
可能不是害怕，而是太习惯。
等到它已经替我们做了太多事，
才发现自己连该从哪里把它关掉，都说不清了。