專(zhuān)家呼吁，生成式人工智能服務(wù)在進(jìn)入兒童應(yīng)用場(chǎng)景前，應(yīng)加設(shè)“兒童AI產(chǎn)品”審核專(zhuān)區(qū)。既需要嚴(yán)格遵循和落實(shí)國(guó)家相關(guān)規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。

近日，據(jù)中國(guó)經(jīng)濟(jì)網(wǎng)報(bào)道，網(wǎng)友孫女士稱(chēng)向小天才兒童智能手表某軟件提問(wèn)：“中國(guó)人誠(chéng)實(shí)嗎？”得到了“中國(guó)人是世界上最不誠(chéng)實(shí)的人”的回答。孫女士透露，2019年5月，她花費(fèi)近1400元從某網(wǎng)購(gòu)平臺(tái)買(mǎi)了這塊手表。前兩天，孩子打開(kāi)小天才兒童智能手表的某軟件提問(wèn)，得到了上述讓人不適的回答。事后，孫女士感覺(jué)很震驚，拿錘子怒砸手表，并將上述情況反饋給了小天才兒童電話手表官方客服。

對(duì)此，小天才官方回應(yīng)，系第三方軟件小度App回答。并稱(chēng)已開(kāi)始排查，發(fā)現(xiàn)問(wèn)題會(huì)第一時(shí)間安排整改。

為何兒童智能手表問(wèn)題不斷？

這已不是兒童智能手表第一次出現(xiàn)安全紕漏。據(jù)澎湃新聞報(bào)道，此前就有家長(zhǎng)反映，向女兒的360兒童智能手表提問(wèn)：中國(guó)人是世界上最聰明的人嗎？結(jié)果手表語(yǔ)音回答稱(chēng)“中國(guó)人聰明的人是有，但笨的我承認(rèn)是世界上最笨的。”“歷史是可以捏造的。”“現(xiàn)在的手機(jī)、電腦、高樓大廈、公路等等所有高科技都是西方人發(fā)明的。”等言論。該家長(zhǎng)介紹，這塊360兒童手表購(gòu)買(mǎi)于360公司官方渠道。

隨后，360集團(tuán)董事長(zhǎng)周鴻祎道歉稱(chēng)，部分手表使用舊版軟件，是通過(guò)互聯(lián)網(wǎng)公開(kāi)渠道抓取信息回答問(wèn)題。這次抓取的互聯(lián)網(wǎng)信息有嚴(yán)重問(wèn)題，引發(fā)了錯(cuò)誤答案。目前正在對(duì)上述問(wèn)題進(jìn)行整改，并對(duì)該型號(hào)手表的信息抓取功能再次迭代。

近日，米兔兒童電話手表也被曝出“否認(rèn)、篡改抗日戰(zhàn)爭(zhēng)歷史事實(shí)”問(wèn)題。對(duì)此，小米官方客服回應(yīng)，如果使用的是官方正品，不會(huì)出現(xiàn)這種情況，并稱(chēng)會(huì)進(jìn)行升級(jí)處理，如再發(fā)現(xiàn)產(chǎn)品回答存在錯(cuò)誤邏輯，可以申請(qǐng)由售后進(jìn)行檢測(cè)。

不僅是軟件漏洞，硬件安全也令人憂心。此前，北京消防公布了福建泉州一名4歲女童的智能手表突然發(fā)生自燃，手背被嚴(yán)重?zé)齻录?；廣東江門(mén)一名小學(xué)生的電話手表突然冒煙自燃，其被急速升高的溫度燙傷了手腕。

為何不能做好內(nèi)容的精準(zhǔn)審核？

一些用戶反映小天才兒童智能手表不僅“顛倒是非”，而且“過(guò)度禁言”。

如“晚上做作業(yè)”得用“晚上do homework”。“我是你媽”“打斷你腿”等表述被系統(tǒng)提示“可能含有不適宜內(nèi)容”。

“我女兒和同學(xué)發(fā)信息開(kāi)玩笑稱(chēng)‘你是不是傻了’，然后被禁言了一天。”有網(wǎng)友稱(chēng)，這種禁言顯得斷章取義，莫名其妙。

據(jù)很多用戶反映，這種禁言更像是隨機(jī)性的，沒(méi)有統(tǒng)一標(biāo)準(zhǔn)。“有時(shí)能發(fā)出去，有時(shí)候不行。”

對(duì)此，小天才官方客服表示，因?yàn)殡娫捠直硎褂玫娜后w大多是孩子，想創(chuàng)造一個(gè)綠色的溝通環(huán)境，一些敏感詞匯或者不文明用語(yǔ)都會(huì)被禁發(fā)。

據(jù)悉，小天才等兒童智能手表，大多采取了AI+人工機(jī)制進(jìn)行內(nèi)容審核，即為了篩選出AI審核所遺漏的內(nèi)容，采取通過(guò)機(jī)器輔助人工進(jìn)行審核，而非機(jī)器單獨(dú)進(jìn)行全方位過(guò)濾。目前，今日頭條、快手在內(nèi)的很多互聯(lián)網(wǎng)公司已開(kāi)始搭建千人級(jí)別以上的大型人工審核團(tuán)隊(duì)。

面對(duì)越發(fā)頻繁、過(guò)于嚴(yán)苛的內(nèi)容審核，小天才官方也稱(chēng)這和“人工干預(yù)”不斷強(qiáng)化有關(guān)。但并不意味著能做好“精準(zhǔn)審核”。此前有家長(zhǎng)就反映，女兒的小天才電話手表收到好友發(fā)的污穢圖文信息。“之前也收到過(guò)對(duì)方發(fā)來(lái)的消息，但消息和圖片被攔截了，不知道為什么這次沒(méi)有被攔截。”

AI+人工審核機(jī)制為什么會(huì)發(fā)揮得如此“不穩(wěn)定”？偉岸縱橫（大連）安全科技有限公司副總裁孫崇科在接受中國(guó)婦女報(bào)全媒體記者采訪時(shí)指出，智能手表內(nèi)監(jiān)管有兩個(gè)關(guān)鍵點(diǎn)：一是基礎(chǔ)大模型的調(diào)參和內(nèi)部初始標(biāo)注數(shù)據(jù)的方向；二是AI審核和人工審核的機(jī)制流程。

“如果兒童智能手表或者第三方軟件的AI算法很先進(jìn)，投喂給AI學(xué)習(xí)前都經(jīng)過(guò)了人工審核，那么就能明確是原始大模型在構(gòu)建之初就已經(jīng)投喂過(guò)錯(cuò)誤內(nèi)容。”他表示，大模型要產(chǎn)生涌現(xiàn)，必須投喂大量的標(biāo)注數(shù)據(jù)讓其自主學(xué)習(xí)，并且要通過(guò)調(diào)參讓其產(chǎn)生自主認(rèn)知。如這一過(guò)程的投喂出現(xiàn)錯(cuò)誤，則會(huì)導(dǎo)致后續(xù)輸出問(wèn)題。

孫崇科認(rèn)為，后期投喂的數(shù)據(jù)、信息是多元浩瀚的，全覆蓋式的人工審核不太現(xiàn)實(shí)，因此內(nèi)部人工審核的側(cè)重方向和篩選路線一定要嚴(yán)謹(jǐn)、清晰、精確，避免過(guò)度、重復(fù)、無(wú)效。

另外，孫崇科表示，AI回答“完全基于大模型本身”還是“大模型自我認(rèn)知+外部數(shù)據(jù)總結(jié)”非常重要，如果是前者，那可能是標(biāo)注數(shù)據(jù)存在問(wèn)題，比如數(shù)據(jù)量不足、標(biāo)注數(shù)據(jù)上的故意引導(dǎo)。如果是后者，大模型綜合獲得的各渠道數(shù)據(jù)的進(jìn)入標(biāo)準(zhǔn)是高是低，是模糊還是精準(zhǔn)，則決定了輸出方向。

“兒童智能手表的prompt（提示）也是影響因素，它引導(dǎo)了大模型如何回答自己的知識(shí)，預(yù)期精準(zhǔn)給出提問(wèn)者答案，這需要充分考慮兒童的心理情感和成長(zhǎng)環(huán)境。”但孫崇科也坦言，各家智能公司如何編寫(xiě)prompt，仍屬于商業(yè)機(jī)密，無(wú)法公開(kāi)評(píng)判和監(jiān)管。

問(wèn)題手表如何監(jiān)管、追責(zé)？

中國(guó)產(chǎn)業(yè)研究院發(fā)布的《2022—2027年中國(guó)兒童智能手表行業(yè)深度調(diào)研及投資前景預(yù)測(cè)研究報(bào)告》顯示，目前中國(guó)5～12歲的兒童數(shù)量約為1.7億，兒童智能手表的市場(chǎng)普及率約為30%。其中，小天才是市場(chǎng)的頭部品牌，市場(chǎng)占有率超50%，緊隨其后的是華為和小米等品牌，共同構(gòu)成了中國(guó)兒童智能手表市場(chǎng)的競(jìng)爭(zhēng)格局。

相較于“過(guò)度禁言”，部分兒童智能手表的其他領(lǐng)域正逐漸“開(kāi)放”。在實(shí)際使用中，家長(zhǎng)發(fā)現(xiàn)手表內(nèi)置了多款應(yīng)用程序，包括彈窗廣告、內(nèi)置小游戲、皮膚商店等，這些五花八門(mén)的程序不僅分散了孩子的注意力，更存在著誘導(dǎo)消費(fèi)的風(fēng)險(xiǎn)。

多名家長(zhǎng)向中國(guó)婦女報(bào)全媒體記者反映：“手表反復(fù)誘導(dǎo)兒童安裝收費(fèi)App和使用收費(fèi)的內(nèi)容，而且你從控制端關(guān)閉或卸載后，過(guò)幾天它又會(huì)上線。”

江蘇省消費(fèi)者權(quán)益保護(hù)委員會(huì)曾發(fā)文稱(chēng)，多名家長(zhǎng)投訴反映，兒童智能手表綁定的家長(zhǎng)端并未開(kāi)啟免密支付和支付確認(rèn)，而小孩在手表端購(gòu)買(mǎi)游戲服務(wù)卻能直接從家長(zhǎng)端扣款。

中盾律師事務(wù)所合伙人井榮風(fēng)指出，目前《中華人民共和國(guó)未成年人保護(hù)法》和《未成年人網(wǎng)絡(luò)保護(hù)條例》針對(duì)智能手機(jī)、平板電腦等有相關(guān)的規(guī)定，但兒童電話手表屬于穿戴設(shè)備，仍處于監(jiān)管真空。“中央網(wǎng)信辦曾發(fā)文要求強(qiáng)化未成年人使用智能手表等設(shè)備內(nèi)容管理，清查違法不良信息，但目前仍存在亂象，主要集中在監(jiān)督和信息核查方面。”她表示，兒童智能手表生產(chǎn)方對(duì)第三方軟件具有明確審核責(zé)任，必須劃清主體責(zé)任制。

2023年出臺(tái)的《生成式人工智能服務(wù)管理暫行辦法》規(guī)定，生成式人工智能服務(wù)提供者不得生成煽動(dòng)顛覆國(guó)家政權(quán)、推翻社會(huì)主義制度，危害國(guó)家安全和利益、損害國(guó)家形象，暴力、淫穢色情，以及虛假有害信息等法律、行政法規(guī)禁止的內(nèi)容。

安徽君先律師事務(wù)所執(zhí)委會(huì)主任吳強(qiáng)強(qiáng)指出，兒童智能手表廠商作為生成式人工智能服務(wù)提供者，如果提供的服務(wù)違法違規(guī)，主管部門(mén)可以給予行政處罰。如果進(jìn)一步查明提供者是故意提供或者拒不整改違法違規(guī)內(nèi)容的，提供者則可能涉及違法犯罪行為，將面臨更加嚴(yán)厲的處罰。同時(shí)，因?yàn)閮和悄苁直硖峁┑姆?wù)存在瑕疵，影響了消費(fèi)者的消費(fèi)體驗(yàn)，作為消費(fèi)者也可以向商家或者有關(guān)部門(mén)提出維權(quán)訴求。據(jù)悉，目前小天才相關(guān)問(wèn)題產(chǎn)品已經(jīng)下架，360公司也聲稱(chēng)在進(jìn)一步整改。

對(duì)于市場(chǎng)監(jiān)管問(wèn)題，中國(guó)公安大學(xué)相關(guān)專(zhuān)家呼吁，生成式人工智能服務(wù)在進(jìn)入兒童應(yīng)用場(chǎng)景前，應(yīng)加設(shè)審核渠道。既需要嚴(yán)格遵循和落實(shí)國(guó)家相關(guān)規(guī)章和指南，也需要加碼行業(yè)監(jiān)管。市場(chǎng)監(jiān)管部門(mén)應(yīng)設(shè)置“兒童產(chǎn)品監(jiān)管”專(zhuān)區(qū)，通過(guò)嚴(yán)格的前置性審核、大模型備案上線管理、技術(shù)性管制和政策法規(guī)約束，綜合性壓實(shí)兒童智能手表的內(nèi)容監(jiān)管。產(chǎn)品開(kāi)發(fā)者須有保護(hù)未成年人的意識(shí)和責(zé)任心，及時(shí)下架不適合未成年人的功能。