蚂蚁团队 投稿成人游戏

量子位 | 公众号 QbitAI

若何让大模子更懂「东谈主」？

固然现存大模子经过了东谈主类价值不雅对王人锤真金不怕火，但其对王人后果相同会让少数群体的声息被系统性消亡。

那随之而来的问题是，当大模子就业大家用户，圭臬化对王人范式是否正在制造新的数字鸿沟？

来自东谈主大和蚂蚁的商量团队知悉到传统对王人范式的结构性颓势：

基于普世原则（如无害性、灵验性）的单一成人游戏价值不雅体系，骨子上是对东谈主类复杂情愫图谱的暴力降维。这就像用兼并副滤镜处理统统影像，虽能保证基础画质，却灭亡了万千颜色的独有性。

更严峻的是，现存反馈系统汇集的「集体灵敏」，相同演变成主流偏好的回声室，使得训导配景、文化认可等要津互异项在数据池中悄然消融。

濒临这一挑战，商量团队建议大模子应该转向个性化对王人锤真金不怕火。

这率先需要构建一个全面而精确的东谈主类偏好表征系统。受到领路科学的启发，商量团队构建了首个90维情愫偏好空间，奥秘交融马斯洛需求档次表面、默里需求体系、前沿对王人商量维度与亿级酬酢平台敬爱图谱。

这个可讲授的坐标体系如同数字罗盘，既能定位用户「偏好什么」（如学问赢得倾向），更能揭示「为何偏好」（如自我已毕需求）。

基于该框架，商量团队构建并开源了首个包含130万用户画像的AlignX数据集，以及基于大畛域抽象个性化锤真金不怕火的大讲话模子AlignXpert。

该模子选拔两种互补的个性化对王人门径：

一是通过高低文对王人（In-Context Alignment，ICA）将用户画像平直整合到高低文窗口中进行隐式偏勤学习；

二是通过偏好桥接对王人（Preference-Bridged Alignment，PBA）将用户画像映射为结构化偏好散布，在保抓对不同用户群体肃肃泛化智商的同期，进步了模子的可讲授性和可控性。

在4个具有挑战性的基准测试中，AlignXpert对用户偏好的展望准确率已毕了平均17.06%的相对进步。

值得一提的是，商量团队同步发布了首篇聚焦个性化对王人的综述论文。

该综述系统性地探讨了大讲话模子如安在保抓普适伦理畛域的同期，已毕对个体偏好的精确适配。通过建议和洽的本领框架，涵盖偏好操心措置、个性化生成和基于反馈的对王人机制，为异日更具合适性的伦理对王人模子发展指明标的。这份综述与本文建议的AlignX变成上风互补：综述梳理了本领全景，而AlignX则是从表面到奉行的冲破性尝试。

该论文的第一作家是中国东谈主民大学高瓴东谈主工智能学院博士生李嘉楠，蚂蚁本领商量院副商量员关健为共同第一作家。

对王人幻象下的千东谈主一面困局

在大模子对王人本领日益精进的表象之下，遁藏着一个被集体残忍的悖论：当迷惑者不休访佛「无害性」「结识性」「匡助性」等普世原则时，模子的「价值熵减」表象却愈演愈烈。

这种矛盾鸠合体当今两大窘境：

一是系统性摒弃效应，少数群体的文化不雅念、谈德态度在默许对王人框架中遇到静默擦除；

二是适配性塌缩，用户快意度因缺少个性化反映而抓续衰减。

快播三级片

这一危险直指对王人范式的根柢颓势：东谈主类价值不雅的多元光谱与大模子迷惑者预设的单一起德坐标系之间，存在着无法弥合的领路鸿沟。

△对某个用户辅导的生成空间进行可视化。

在大模子迷惑者预设的三个普世价值不雅维度下，现存大模子所对王人的社会偏好密集区域是统统个性化偏好密集区域的平均。

深入剖析现存门径，团队发现主流“一刀切”的对王人本领依赖两大脆弱假定：

一是将复杂的东谈主类偏好压缩为几个单向度目的（如「匡助性（越高越好）」），二是将个体互异简化为同质化数据池中的统计噪声。这种马虎式建模犹如在数据荒废中盲目绘画用户画像，既无法捕捉价值不雅冲突中的玄妙均衡（如解放抒发vs社会轨范），更无力应付长尾群体的领路特异性。

尤为严峻的是，基于匿名团聚数据的对王人锤真金不怕火，实质上灭亡了用户画像与偏好维度间的因果纽带，导致模子弥远在领路迷雾中摸索。

△AlignX个性化对王人数据默示图。

这个默示图中，包含一个帖子偏激两个候选回答，三类东谈主格表征包含活动模式和描绘性特征，可已毕精确偏好估计并促进偏勤学习（右下）。值得精通的是，基于普世价值不雅对王人的大讲话模子（如GPT-4）倾向于弃取回答2，与用户倾向于回答1的个性化偏好变成对立。

正如综述论文所指出的，东谈主类偏好并非单一维度的线性优化问题，而是动态、多维且受社会文化潜入影响的复杂系统。

如下图所示，个性化对王人的中枢在于构建一个或者动态均衡普适伦理与个体需求的框架。通过引入偏好操心措置、个性化生成和基于反馈的对王人机制，模子不错在保抓伦理畛域的同期，精确适配用户偏好。这不仅是本领的冲破，更是对“千东谈主一面”困局的潜入反想。

△个性化对王人框架AlignX：构建可膨胀的个性化对王人数据集

濒临个性化对王人中多维度偏好建模的复杂性，商量团队建议了一套系统化偏好表征框架，其中枢冲破在于交融「平直偏好标的」与「转折用户画像」的双重领路架构，将东谈主类需求的底层逻辑漂流为可打算的科学讲话。

这一创新栽培在情愫学与社会领路科学的坚实基础上。通过引入结构化表征门径，该框架为大畛域用户偏勤学习构建了一个「领路操作系统」。

系统通过两个档次建模用户偏好：

（1）全面的偏好空间映射，将90个要津偏好维度（如“安全感”、“酬酢包摄”、“自我已毕”等）编码为可量化的标的标签（正向/负向/中性）；

（2）多源异构用户画像线路，整合活动模式（包括用户的生成内容、相比式反馈）与描绘性特征（即东谈主口统计属性）。

基于该偏好线路框架，商量团队草创了从海量交互数据中可膨胀地索求个性化对王人数据的新范式。从Reddit论坛16亿级确实筹划和现存的多个对王人数据集起程，商量团队构建了包含130万个用户画像的AlignX数据集。AlignX中每条数据被表征成一个五元组，包括用户画像、用户画像隐含的偏好向量、用户Prompt、用户偏好的回话和用户不偏好的回话。AlignX数据集的中枢在于将个性化对王人任务方式化为一个条款计策学习问题，使模子或者基于用户画像生成与用户偏好相符的回话。

AlignXpert：解密用户活动中的隐式偏好

基于AlignX数据集，商量团队锤真金不怕火得到或者证据用户画像进行个性化生成的模子AlignXpert。该模子不错通过两种决议已毕个性化对王人——高低文对王人（ICA）与偏好桥接对王人（PBA），辞别对用户画像隐含的用户偏好进行隐式和显式的建模：ICA：高低文对王人平直将用户画像与用户Prompt拼接为高低文窗口，锤真金不怕火模子捕捉隐式用户偏好，已毕零样本泛化智商。该决议奥秘诈欺大模子的高低体裁习特质，从用户画像中隐式地学习隐含的用户偏好。

PBA：偏好桥接对王人引入隐变量显式建模用户偏好方，通过两阶段剖判已毕可讲授的偏好传递：第一阶段将用户画像压缩为偏好标的向量，第二阶段将其漂流为当然讲话描绘注入生成流程。

两大门径变成互补上风：

隐显协同ICA擅长捕捉动态交互模式，PBA精于结构化偏好推理遵守翻新ICA诈欺现成高低文机制，PBA通过用户画像向量化压缩打算支出

△对王人门径概述正常进步模子对王人智商

施行结果令东谈主勉力！商量团队在涵盖普世价值不雅对王人（UF-P-4）、确实用户个性化偏好对王人（PRISM、P-Soups）及抽象对王人（AlignX-test）的四大具有挑战性的基准上，系统考据了AlignXpert的超卓性能。

1. 跨维度对王人：通用与个性化价值的双重降服

AlignXpert在通用价值不雅与个性化偏好场景中均展现超卓阐明。固然基准模子在普世价值不雅（UF-P-4）上阐明考究，但它们在个性化偏好（P-Soups、AlignX-test）上阐明欠佳。AlignXpert在两种场景下均保抓超卓性能，并在散布外基准测试中展现出宏大的泛化智商，在PRISM/ P-Soups上辞别以9.83%/32.25%的上风高出基线。

△不同模子在含各样用户画像的偏好对王人任务中的对王人准确率（%）

△GPT-4胜率（M1：Llama-3.1-8B-Instruct；M2：AlignXpert-ICA；M3：AlignXpert-PBA）

2. 泛化异日：新偏好维度快速适配

商量团队探究AlignXpert在AlignX上的偏好对王人锤真金不怕火是否为合适新偏好维度提供了更优的开动化参数。基于两个新维度——“幽默”（诙谐vs严肃）与”实用主义”（奉行导向vs表面导向），商量团队构建了包含6，355个锤真金不怕火样本和1，000个测试样本的数据集。

对比三种合适门径：(1) 在ICA框架下微调Llama-3.1-8B-Instruct，(2) 在ICA框架下微调AlignXpert-ICA，(3) 在PBA框架下微调AlignXpert-PBA。两种AlignXpert变体均显赫高出Llama基线（p值<0.05），标明模子习得的是可泛化的偏好对王人机制，而非对锤真金不怕火维度的浅显拟合。

△在新偏好维度下的对王人准确率

3. 交互数据稀缺，仍能看守阐明

在确实应用场景中，用户相同仅具备有限的交互历史，这使得个性化偏好对王人模子在不同畛域历史数据下的褂讪阐明至关紧迫。商量团队评估了AlignXpert模子对用户互动历史数据量的鲁棒性。通过使用2~16组用户生成内容和成对相比数据动作用户画像进行测试，揭示了AlignXpert的两大中枢上风：

数据稀缺场景下的肃肃性：即使用户画像中仅包含2个样本数据，模子仍能保抓可靠性能；增益效应：跟着历史数据加多，准确率抓续进步。

△不同交互历史数目下的对王人准确率

4. 抑遏自由的偏好

偏好对王人系统的中枢智商在于合适多元以至对立的用户偏好，而非固化单一倾向。为考据AlignXpert的该特质，商量团队在P-Soups和AlignX-test数据集开展可控性施行：在推理阶段对用户画像中的成对偏好样本及主见偏好回话对的偏好标的进行回转（如将"y_w>y_l"改为"y_w<y_l"），并通过两相貌的评估可控性：

对王人准确率（Acc）：预计模子在偏好回转条款下是否能准确展望被偏好的回话；翻转见遵守（Flip）：统计模子在偏好回转之后展望也见效回转的比例。

AlignXpert在两相貌的上均展现超卓可控性。基线模子则阐明出显赫低的翻转见遵守（3-15%），阐发其过拟合到固定的偏好标的，而AlignXpert已毕了动态合适性优化。

△偏好回转场景下的模子阐明结语

本商量初次系统地探索了大畛域个性化偏好对王人范式，为模子适配各样化东谈主类需求开辟新旅途。

中枢孝顺包括：

(1) 冲破性建议“转折用户画像-平直偏好标的”双向映射框架，已毕复杂偏好建模的系统性冲破；

(2) 开源AlignX数据集，提供130万条考究化用户画像-偏好干统统据，刷新对王人数据畛域天花板；

(3) AlignXpert模子通过高低体裁习或偏好桥接对王人计策，在零样本合适、低交互优化等场景已毕超卓性能进步。

实考据明该决议在偏好可控性等方面达到新高度，为训导、情愫筹商等个性化就业领域奠定基础。商量团队期待该框架抓续进化，在东谈主类价值不雅建模与阴事保护均衡等标的已毕更深层冲破。

论文地址：https://arxiv.org/pdf/2503.15463Github：https://github.com/JinaLeejnl/AlignXDataset：https://huggingface.co/datasets/JinaLeejnl/AlignX

Survey相接：https://arxiv.org/abs/2503.17003

— 完 —

量子位 QbitAI · 头条号签

关怀咱们，第一时候获知前沿科技动态约

一