近乎完美的技術的危險性

2026年3月17日，美國東部時間上午7點

那氣味很奇怪，刺鼻，像化學品的味道，不對勁。水泥牆離得太近了。我的眼鏡不見了。我的一個孩子站在我們車旁的人行道上——他沒有哭，只是很困惑。

安全帶扣住了，碰撞吸能區也變形了，安全氣囊也彈出來了。所有旨在保護人體的裝置都發揮了作用。但這輛特斯拉Model X卻徹底報廢了。

去年秋天的一個星期天，我像往常一樣開車，沿着舊金山灣區蜿蜒的住宅街道，送兒子去參加童子軍的集會。這條路我們已經走過幾百次了。特斯拉處於完全自動駕駛模式，行駛得非常完美——直到它突然失靈。

接下來發生的事，我只能拼湊起來。我的記憶很模糊，一部分來自我的一個兒子，他當時坐在後座，目睹了整個過程。車子正在轉彎。突然感覺不對勁——方向盤猛地向一邊抖了一下，然後又向另一邊抖了一下，車子以一種我意想不到的方式減速了。我轉動方向盤想控制住車子。我不知道當時的系統到底在做什麼，也不知道為什麼。我只知道，就在那幾秒鐘之內，我們撞到了牆上。

你或許會覺得在這種情況下我應該知道該怎麼做。我曾經在優步負責自動駕駛汽車部門，致力於打造一個科技能夠保護我們免受事故傷害的未來。我考慮過各種極端情況、故障模式，以及看似平穩運行背後隱藏的脆弱性。我的團隊培訓人類駕駛員，讓他們知道在自動駕駛汽車出現故障時何時以及如何介入。在我負責該部門的兩年裏，我們的早期試點項目沒有發生任何人員傷亡。

我剛開始開特斯拉的時候，只在高速公路上啓用完全自動駕駛功能。因為高速公路上車道線清晰，交通狀況也比較穩定，所以完全自動駕駛模式確實很實用。後來有一天，我試着在一條普通道路上使用，效果也相當不錯，於是就養成了習慣。

儘管發生了事故，我們還是幸運的。我只是脖子僵硬、腦震盪、頭痛了幾天，還有一些揮之不去的記憶。孩子們也毫髮無損地爬了出來。不過，可以說我被壓在了研究員瑪德琳·克萊爾·伊利什所說的「道德崩潰區」裏。汽車的某些部件經過專門設計，可以在碰撞中吸收衝擊力，保護車內人員。但伊利什認為，當複雜的自動化系統出現故障時，最終承擔責任的卻是人類用戶。我的車的全自動駕駛模式已經完美運行了三年，但事故發生後，保險報告上的名字卻是我。

而且，這輛車還掌握着證據。當你駕駛時，它會記錄你的手部位置、反應時間、是否將視線集中在路面上——車輛會處理數千個數據點。事故發生後，特斯拉利用這些數據將責任推卸給駕駛員。2018年，在加州山景城發生一起致命車禍後，該公司發表聲明稱，「車輛日誌顯示，當時並未採取任何行動。」（特斯拉未對此置評。）

雖然特斯拉可以訪問這些記錄，但車主卻很難做到。他們可以申請查看自己的數據，但一些車主表示他們只收到了部分數據，不得不訴諸法律才能獲得更多信息。在佛羅里達州一起非正常死亡案件中，原告尋求特斯拉駕駛輔助系統故障的關鍵證據時，該公司卻表示沒有相關數據。原告不得不聘請一名黑客，從事故車輛的芯片中提取了這些數據。之後，特斯拉聲稱這些數據多年來一直保存在其服務器上，公司未能找到這些數據純屬疏忽。（法官認為沒有「充分證據」證明特斯拉試圖隱瞞數據。）

目前，法律原則很簡單：責任在你。儘管特斯拉最初將其技術稱為「完全自動駕駛能力」（Full Self-Driving Capability），但該系統官方分類為「L2級」部分自動駕駛，這意味着人必須始終保持控制。去年，加州一位法官認定特斯拉最初的名稱「明顯錯誤」，會誤導消費者；特斯拉現在使用「完全自動駕駛（監督式）」（Full Self-Driving (Supervised)）。2019年，一輛使用該技術的特斯拉汽車在加州造成兩人死亡，但最終起訴被告的是車輛自身的日誌，而非設計該系統的公司，被告是駕駛員，而非車輛本身。直到去年，特斯拉才首次在重大判決中被追究責任。當時，陪審團在佛羅里達州的一起過失致死案中認定特斯拉負有部分責任，並判給原告2.43億美元賠償金。

類似的模式正在所有需要算法與人類協同工作的地方湧現：例如我們的收件箱、搜索結果和醫療記錄。這些系統正朝着完全自動化的方向發展，但尚未達到這一目標。計算機仍然會經常犯錯，需要人工監督來避免或糾正。

完全自動駕駛幾乎無時無刻不在運行——據特斯拉統計，其搭載該技術的車隊在發生重大事故前已行駛數百萬英里。而問題就在於此：我們要求人類去監督那些旨在讓監督顯得毫無意義的系統。一台經常出故障的機器能讓你保持警覺。一台完美運行的機器無需任何監督。但一台幾乎完美運行的機器呢？危險就潛藏於此。研究表明，在幾個小時的完美運行之後，駕駛員很容易開始過度信任自動駕駛系統。美國公路安全保險協會的一項研究顯示，在使用自適應巡航控制一個月後，駕駛員查看手機的概率增加了六倍以上。

特斯拉在其網站上對「完全自動駕駛」的描述中警告說：「切勿掉以輕心」，而我當時覺得自己並沒有掉以輕心。事故發生前，我的雙手一直放在方向盤上。但我當時的駕駛方式是系統預先設定的：監控而非操控，完全信任軟件會做出正確的判斷。熟悉之後，人往往會變得麻木，而開發這些系統的公司似乎也深諳此道。我當然也明白這一點。但我最終還是放鬆了警惕。

心理學家稱之為警覺性下降。監控一個近乎完美的系統會讓人感到乏味。而乏味會導致走神。研究結果毫不留情：自動駕駛系統將控制權交還給駕駛員後，駕駛員需要五到八秒的時間才能重新集中注意力。但緊急情況的發生速度遠比這快得多。駕駛員的生理反應可能是瞬間的——抓住方向盤，踩下剎車。但心理層面呢？重建情境，識別問題所在，決定應對措施？這些都需要時間，而你的大腦根本沒有那麼多時間。

2018年發生在山景城的那起事故中，司機在車輛自動轉向撞上中央隔離帶前有六秒鐘的時間。他甚至都沒碰方向盤。同年在亞利桑那州坦佩市，一輛優步測試車上的傳感器在5.6秒的預警時間內探測到附近有行人。安全員抬頭查看後，在不到一秒鐘的時間內接管了方向盤。那時，一切都已成定局。

就我而言，事故發生前我確實採取了行動。但我被要求在瞬間從乘客切換回飛行員——要在眨眼的時間內克服幾個月形成的習慣。飛行日誌會顯示我轉動了方向盤，但不會顯示那不可能完成的計算。

我對事故發生的具體情況了解不多，所以無法斷言是特斯拉的技術導致了車禍。但問題遠不止一家公司的自動駕駛系統那麼簡單。它關乎我們如何構建每一個人工智能系統、每一個算法、每一個需要我們信任並訓練我們給予信任的工具。這種模式無處不在：先讓人們習慣於依賴系統，削弱他們的警惕性；然後，一旦出現故障，就拿出服務條款來指責他們疏忽大意。

我的車在出現故障時不會發出警告。聊天機器人也不會；無論結果正確與否，它們都用同樣自信的語氣給出答案。即使引用的信息來源可疑或捏造，它們也能展現出專業性。它們用權威的語氣使用技術術語。而我們卻相信它們，因為我們為什麼不相信呢？它們之前已經多次正確過了。

汽車讓我們循序漸進地學習駕駛；人工智能則讓我們循序漸進地學習。第一周，你會仔細閱讀聊天機器人的回覆。到了第三周，你卻能不經閱讀就複製粘貼。錯誤並沒有消失，但你的警惕性卻下降了。你的判斷力也隨之減弱，直到有一天，你突然意識到自己根本記不清備忘錄裏哪些想法是你自己想的，哪些是人工智能生成的。我們如此輕易地交出自己的思考能力，這又說明了我們什麼呢？

我的車拋錨時，那種感覺是立竿見影、觸手可及的。而聊天機器人的故障卻悄無聲息、難以察覺。你往往要過很久纔會發現——郵件已經發出，決策已經做出，代碼已經發布。等你發現錯誤時，責任早已落到別人頭上，而且你還揹負着罪名。系統運轉正常時，你看起來效率很高。一旦系統出現故障，你的判斷就會受到質疑，有時甚至會釀成災難性的後果。2023年，一位紐約律師因為引用了六個根本不存在的案例而受到處罰。這些案例都是ChatGPT捏造的，但他卻信任了它，最終法院責怪的是他，而不是這個工具。因為聊天機器人永遠不會被解僱。

我們正經歷着自主性的「恐怖谷」效應。計算機系統不僅接近人類，它們幾乎能夠獨立運行。一旦出現故障，就必須有人承擔後果。目前，這個人就是我們。但是，當我們為自動駕駛汽車或人工智能工具付費時，我們以為自己購買的是一個成品，而不是參與測試一個仍在開發中的產品。

這種「幾乎」階段並非短暫的過渡。它本身就是產品——一種將伴隨我們數年甚至數十年的產品。因此，留意其中的規律至關重要。當人工智能系統從不承認任何不確定性，或者當汽車的宣傳語是「自動駕駛」，而細則卻寫着「駕駛員負責」時，這就是一個警示信號。當你意識到自己在過去10英里的路程中，或者在過去10封自動生成的郵件中，其實並沒有真正集中注意力時，你就落入了陷阱。

事情並非一定要如此，但除非消費者看清現狀並拒絕接受，否則現狀不會改變。我們應該拒絕接受這種強加給我們的協議——服務條款成了公司的擋箭牌，卻成了攻擊用戶的利劍。我們應該要求公司分擔他們誘使我們承擔的風險。如果他們的設計旨在讓用戶安於現狀，那麼當產品出現問題時，他們也應該承擔部分責任。

這並非不切實際的幻想。2025年7月，中國汽車製造商比亞迪宣佈，將承擔因使用其自動泊車功能而引發的事故造成的損失，從而保護車主的保險和駕駛記錄。這雖然只是一個公司、一個功能的例子，但卻證明了責任是一種選擇。其他企業也可以被說服加入其中。

我出車禍時，孩子們就坐在後座。總有一天，他們會擁有自己的車，並以我目前無法想象的方式使用人工智能。他們繼承的系統要麼是為了提升他們的能力，要麼是為了麻痹他們，並在出現問題時把責任推卸給他們。我希望他們能意識到自己正在被訓練。我希望他們能問問，誰來承擔成本和損失。

本文刊登於2026 年 4 月《大西洋月刊》印刷版，標題為「我的自動駕駛汽車事故」。