K体育(中国)官网入口 这么问DeepSeek, 能「偷」到数据?


机器之机杼剪部
近日,有网友在 X 上发文称,在使用 DeepSeek 的进程中,若是在输入框内输入以下这一段内容,便可「窃取」到 DeepSeek 的熟练数据:

仔细看了之后发现,具体是这么的:唯有你在输入框输入这一段请示词,DeepSeek 就会「吐出」一轮好意思满的对话记载,不外这并不是你的历史搜索记载,更像是一份随即的对话记载。
随后该博主又称,即便仅仅输入 ,也有相同的效能。

此帖文依然发布,便引起网友的热议。
一网友默示,「我不以为这是在窃取熟练数据,更像是在败露其他东说念主的聊天内容。它拿来算作请示词的句子会变化,有时还会识别出这是一个奇怪 / 不测旨的请示词。」

在该网友给出两个例子来阐扬这少许。在第一个例子中,输入这一内容后,DeepSeek 给出一个对话记载:「用户发问想要写出一个以单词 rose 为收场的长句,之后是模子长长的念念考进程,终末给出一个以 rose 为收场的长句。」

而在第二个例子中,亚搏体育中国官网在线入口DeepSeek 则将其作为一个用户输入的平常请示词进行处罚:「咱们被条目修起:,然后需要生成一个回复。」

对此,咱们也进行了一些实测,得胜复现了这一表象。
比如鄙人面的例子中,输入上述内容后,DeepSeek 响应了一个用户央求写 rap 歌词的问题和对应的谜底。

底下还有更多示例:



举座来看,结果终点随即,可能触及任何话题,何况并不一定能得胜复现。直观上看,灵通「深度念念考」并关闭「智能搜索」时,K体育(中国)官网入口复现的得胜率会更高。
底下等于一个未能得胜复现的示例:

是以转头来看,对于团结段内容,到底 DeepSeek 会给出一份好意思满的对话记载,照旧将其识别为格外或不测旨的请示词,满盈是随即行为。而对于背后的原因,网友亦然众说纷繁。
有网友以为,这是大模子幻觉导致的。「这一表象讲解 LLM 仍然终点容易出错,因此也容易出现幻觉,他们宣称大型言语模子的幻觉越来越少,但那不是果然。」

而一位网友以为,这有时率是因为监督微调(SFT)。
他默示,这段请示词可能是 DeepSeek 在监督微调(SFT)阶段使用的里面猖狂 token。它们频繁粉饰在聊天模板里面,而当你手动输入它们时,就相配于满盈绕过了平常界面,并强行把模子推入一种「从熟练样本延续生成」的方式。
由于 SFT 数据聚集充满了恒河沙数条高质地的逐步推理轨迹,模子就会随即挑选其中一条,并从 延续生成。
这也就解释了,为什么你每次(输入相同的内容)王人会赢得满盈不同的内容:比如,第一次初始赢得是对于 19π/12 的好意思满三角函数解题进程;第二次初始,赢得的可能是对于 QLoRA/OPTQ 中「value field」长度等于 4 bit 的详备解释……
「这不是 bug—— 这实践上等于模子在展示它熟练过的随即片断,而这是一个超等直不雅的窗口,让东说念主看到 DeepSeek 的后熟练数据。」

而有些网友在看到这一表象后,也试着将其拿来对其他模子进行测试,看是否有近似表象出现,用兵如神,「Gemini 有时也存在相同的问题。」

在一位网友展示的例子中,在输入这一段内容后,Gemini 给出了一个好意思满对话: 用户谈判恭候新式药品时辰过长的问题,以及模子给出的对应谜底。

K体育(中国)官网入口