JD HACKATHON · 2026 校招小组赛

选题作战手册

11 个官方赛题的浅扩展全景,三视角对抗评审,以及 6 个 idea(队长五强 + 小组追加)的深度产品方案与七日研发路线。

报名截止 7 月 14 日 · jdhackathon.jd.com 开发窗口 7 天 小组配置 2 产品 · 1 设计 · 2 算法 · 8 研发(13 人)

赛题浅扩展全景

11 个官方赛题各扩展 3 个差异化方向,共 33 个候选。每个 idea 标注了痛点、AI 不可替代性、demo 形态与两项评分;点开任意一行看完整分析。带「入选」印章的是队长敲定的五强,带「追加」印章的是小组指定补充的深度方案。

零售4 个赛题 · 12 个 idea

主播AI导播助理智能体产品设计live-director

京播智控 可行惊艳 一个陪主播开播的 AI 中控台:实时听主播说话、读弹幕,自动完成弹讲解卡、发券、答疑提词、合规预警这几件专业中控的活,把'主播+中控+场控'三个人的直播间压成一个人。
痛点中小商家和京东采销直播间请不起专业中控团队。采销直播的主播本质是采销业务员而非职业主播,一个人既要讲品又要盯弹幕、弹卡、改价、发券,节奏一乱转化就掉;同时口播违禁词('全网最低价''治病''国家级')随时可能触发平台处罚和广告法风险,全靠人肉根本盯不住。
AI 不可替代性核心是'听懂正在发生的直播',这只有大模型能做:(1) ASR 流式转写后,需要 LLM 把自由口播实时对齐到商品脚本——判断'现在讲到第几个品、讲到卖点还是价格环节',才能决定何时弹卡发券,规则引擎对自由口语完全无效;(2) 弹幕是高噪声口语流,只有 LLM 能实时聚类出'真问题 Top3',并区分哪些可自动回复、哪些必须推给主播口播;(3) 违规不是关键词表问题——'比医院开的还管用'一个违禁词都没有但违法,必须语义级判断。
现场 demo现场一名队员扮主播真人讲品(另备预录流兜底),大屏左右分屏:左边直播画面,右边 AI 中控台。实时字幕上滚,讲到某商品的瞬间讲解卡自动弹出、优惠券自动挂出;底部 mock 弹幕以真实直播间速率刷屏(LLM 预生成 2000+ 条、按剧本时间轴注入,含水军式重复和错别字,逼真到看不穿),AI 每几秒刷新'待回答 Top3'推上提词器;队员故意口播'全网最低价,比医院开的药还管用',中控台 1 秒内红色预警并给出合规替换话术。全程后台无人操作。
京东契合直接嵌入京东直播商家后台的开播中控环节,第一落地场景是京东采销直播——主播是采销出身、天然缺中控,该产品把单场直播人力从 3 人压到 1 人,直接提升开播率和场均 GMV;平台侧顺带获得实时合规拦截层,降低广告法处罚与平台连带责任。商业模式:商家工具订阅制,或平台免费铺开换直播供给量。
可行性 5/5技术栈就是 ASR API + LLM 流式调用 + 前端 dashboard,没有任何硬骨头;8 个研发两三天可打通核心链路(转写→脚本对齐→触发动作),剩余四天全部用来打磨 mock 弹幕逼真度、演示剧本和 UI。是三个 idea 里唯一'彩排失败风险接近零'的。
惊艳度 3/5这是赛题的'标准答案'型产品,评委大概率能预期到形态,惊喜有限;但完成度可以做到碾压级,靠'讲到哪卡弹到哪'的全自动瞬间和语义级违规抓取制造两个小高潮。赢在稳和完整,不赢在尖叫。
一人剧组 可行惊艳 用多模态大模型当真正意义上的'导播':现场 2-3 个机位,AI 实时看画面、听讲解,自动切机位、推特写、上字幕条、换商品浮层——一个人播出一个专业剧组的成片效果。
痛点'多机位+导播切换'是头部主播专属,一场导播团队成本数千元起;中小主播只有一个固定机位,画面呆板、商品细节看不清,观看时长和转化被大直播间碾压。有意思的是,'导播'这个词的字面本义——切画面——恰恰是市面上所有 AI 直播工具都没做的空白,大家都在做话术和数据,没人碰切换台。
AI 不可替代性切镜头的决策依据是内容语义而非画面运动,这是多模态大模型独占的能力:主播说'看这个面料的走线'必须切微距特写,说'整体上身效果'必须切全身机位,手里拿起 B 商品要切桌面机位并同步换 B 的商品浮层。这要求语音意图理解(ASR+LLM)和画面理解(vision 模型判断手里是哪个品、是否在做细节展示)实时融合决策。传统切换台只能人手按,运动检测和规则引擎对'语义驱动运镜'完全无解。
现场 demo路演现场架 2-3 个 USB 摄像头(全景/特写/桌面机位),一名队员现场当主播讲两个真实商品。大屏放'观众看到的成片流':队员说'给大家看看细节',1-2 秒内画面自动切特写机位并压上'面料细节'字幕条;换讲第二个商品,画面自动切桌面机位、右下角商品浮层换品换价。侧屏滚动导播决策日志('检测到细节展示意图 → 切 CAM2'),证明是 AI 实时决策而非播片。现场真机实测、评委可点名换台词验证,是全场最硬的杀器。
京东契合嵌入京东直播 App / 商家开播端的开播工具链,作为'AI 导播'开播模式:中小商家一部手机加两个百元机位就能播出专业级画面,直接抬升京东直播供给侧的内容质量和开播意愿——这正是京东直播对比抖快最缺的一环;对采销直播间则直接省掉导播岗。远期可沉淀为京东直播标配基础设施,对标行业'云导播台'但做到多模态全自动。
可行性 3/5核心风险是端到端延迟(流式 ASR + 意图判定要压进 2 秒)和现场灯光网络的不确定性。但意图可收敛为十几个类别(细节/全景/换品/上链接……),vision 只需 1fps 抽帧判品,8 个研发做得出来;必须预留整整 2 天做全流程彩排,并准备预录流降级预案。做成了是王炸,做砸了很难看,属于高风险高回报。
惊艳度 5/5评委眼前的画面跟着主播的话自动切换——'AI 在替我按切换台'是肉眼可见的魔法时刻,不需要任何解释就能被感知;且是现场实机而非录屏,评委可以现场出题验证,可信度和冲击力同时拉满。这是三个 idea 里唯一能让评委当场掏手机拍的。
翻车熔断器 可行惊艳 给每个直播间装一根保险丝:AI 实时监听主播口误、弹幕情绪突变和舆情苗头,翻车瞬间自动分级处置——轻则提词纠偏,重则秒切备用画面、静音熔断,并 10 秒生成致歉声明,把事故掐灭在切片传播之前。
痛点直播是唯一'说错了不能撤回'的内容形态:一句价格口播错误、一句冒犯性言论,几分钟内就会被切片二次传播,轻则批量退款赔付,重则品牌塌房(李佳琦眉笔事件级损失)。现在的处置全靠中控人肉反应,等运营发现时切片已经出去了;平台侧京东还要为商家直播内容承担连带责任。所有队伍都在想'AI 怎么帮主播卖得更好',没人想'AI 怎么在最坏的 30 秒救主播的命'。
AI 不可替代性'翻车'没有关键词表——'嫌贵就别买'是真诚还是傲慢,取决于语境、前文语气和弹幕的实时反应,必须 LLM 做语义+弹幕情绪的联合判定;处置分级(提醒/补救/熔断)是一个在商业损失和舆情风险之间权衡的推理问题,要 LLM 按预案库推理而不是 if-else;补救话术和致歉声明必须秒级贴合具体事故事实生成(说错的是哪个价、承诺了什么),模板完全做不到。这是一个'大模型出现之前根本不可能存在'的产品。
现场 demo现场情景剧,三级递进:队员扮主播正常讲品,按剧本连续制造事故——一级:价格口播错,AI 黄色提醒+纠正话术推上提词器,主播口头修正,化解;二级:说出'嫌贵就别买',mock 弹幕按预生成的情绪恶化曲线瞬间转负刷屏,AI 升级橙色,补救话术直接顶上提词器最上方;三级:主播继续失言,AI 红色熔断——直播画面自动切'商品讲解中'垫片、麦克风静音,同时大屏右侧 10 秒内流式生成一份贴合事故事实的致歉声明和客服统一口径。三次升级层层加码,剧场张力拉满。
京东契合嵌入京东直播的平台风控链路,是内容安全中台在直播场景的实时延伸:平台侧作为全量直播间的默认安全层,直接降低平台连带责任和公关成本;商家侧可作为'直播保险'增值服务售卖,甚至可与京东安联组合出'直播事故险 + AI 熔断'的创新产品。第一落地场景仍是采销直播——非职业主播口误率天然更高,京东自己就是最需要这根保险丝的人。
可行性 4/5技术栈与实时中控高度重合(ASR + LLM 流式判定 + 弹幕注入模拟),增量只有分级状态机和垫片切换(OBS websocket 一条指令的事),没有硬技术风险;真正要花时间的是剧本和弹幕情绪曲线的打磨,属于'工程三天、导演四天'的项目。
惊艳度 4/5'眼睁睁看着一场翻车被 AI 在 30 秒内掐灭'是带戏剧冲突的演示,评委一定记得住,且角度独特——别的队几乎不可能撞车。扣一分是因为演示依赖表演配合,评委可能追问真实场景的误报率/漏报率,需要在 QA 环节备好'宁可误报、人工一键恢复'的产品化回答。

采销真自营运营体系procurement-ops

采销参谋长 可行惊艳 面向自营采销的 AI 经营参谋:每天自动把销量、竞品价格、用户评价、库存四路异动汇成一页可追问的晨报,给出带证据链的行动建议(跟价/补货/品控整改),并一键生成执行动作。
痛点京东真自营的核心是'采销对货负责到底',但一个采销要管几百上千个 SKU,每天在七八个报表系统之间找异动,80% 时间耗在'发现问题'而不是'做决策'上;评价、竞品页这类非结构化信息更是基本看不过来,长尾 SKU 处于事实上的无人运营状态。
AI 不可替代性三件事只有大模型能做:(1) 海量差评/问答文本的语义聚类与归因(如把'漏气''瘪了''不脆'归为同一个包装问题并定位到批次);(2) 跨竞品商详页的语义比对(参数、赠品、话术差异,不是简单价格数字对比);(3) 把结构化指标异动+文本证据揉成一段人话结论,并支持自然语言任意下钻追问——规则引擎和 BI 报表做不到'解释为什么'。
现场 demomock 一个'休闲零食'品类 300 SKU × 30 天的数据(公开电商数据打底 + LLM 批量生成逼真评价与竞品页)。现场:打开驾驶舱,今日 3 条红色异动置顶;点开'某坚果差评率激增'→ AI 展示差评聚类结果'包装漏气'并定位到某供应商批次,附原始差评证据;评委任意追问'对本月毛利影响多大''竞品同款什么价'均能回答;最后一键生成给供应商的整改函和跟价申请单,闭环完整。
京东契合直接嵌入京东自营采销的日常运营链路(选品-定价-库存-品控-供应商管理),定位是内部采销工作台的 AI 层。价值:把单个采销可有效管理的 SKU 数量抬高一个量级,让长尾自营商品也有'人'在管——这正是'真自营=每件货都有采销负责'的规模化前提,与京东近两年强调采销权责的组织改革完全同频。
可行性 5/5技术栈全部成熟:前端 dashboard + LLM 总结/RAG/结构化输出,没有任何需要攻关的模块;造数脚本 1 天、后端管线 2 天、前端 2 天,两三天就能出核心 demo,剩余时间全部用来打磨数据逼真度和追问的稳定性,8 个研发绰绰有余。
惊艳度 3/5形态是'dashboard + copilot',评委见过类似物,第一眼不会惊呼;拉分点在演示的丝滑度和归因深度——'从一条红色异动 30 秒追到供应商批次并发出整改函'这个链路如果流畅,能拿完成度和契合度的高分,但天花板就是稳而不炸。
平行京东 可行惊艳 一个上线前的'试销风洞':采销把定价、主图文案或促销方案丢进沙盘,数百个按真实用户画像分布构造的 LLM 消费者 agent 逛虚拟货架、比价、决定买不买,实时输出转化率、价格弹性和典型拒买理由,支持 A/B 方案现场对打。
痛点自营模式下价格和页面改动直接砸在京东自己的库存与毛利上,试错成本极高;线上小流量 AB 实验要等几天出显著性,而长尾 SKU 根本没有足够流量可测——采销的定价和文案决策至今大量靠拍脑袋。
AI 不可替代性传统仿真只能拟合点击率数字,无法理解'内容';LLM persona 能真正读懂文案、对比商详页、结合自身人设(预算、家庭结构、品牌偏好)给出买/不买的决策和理由——'语义级消费者行为模拟'是大模型出现之前不存在的能力,这也是本方案的创新内核。
现场 demo评委现场出题:'这款空气炸锅,299 直降还是 279 加赠烤盘?'→ 点击运行 → 大屏上 500 个用户头像流式亮起(绿=下单,红=放弃),两个方案的转化率曲线实时爬升对打;随机点开一个红色头像,'二胎宝妈'persona 说'烤盘家里有,不如直降 20';最后 AI 汇总出定价建议与人群分层洞察。因为产品本体就是仿真,mock 数据天然合法,评委挑不出'没有真实数据'的毛病。
京东契合嵌入采销'定价-促销-页面运营'的上线前决策环节,相当于给京东自营加一层零成本预演环境;对京东的独特价值在于:京东真实握有数亿用户画像与交易数据,是全行业最有条件把这个沙盘从'demo 级 persona'校准成'高保真消费者镜像'的公司——商业想象空间可以讲到智能定价系统、大促方案风洞、新品测款平台。
可行性 3/5工程上是高并发 LLM 调用 + 前端群体动效,一周紧凑但可控:用小尺寸模型跑 persona、结果缓存、预置 3-5 个彩排过的商品兜底,核心链路 3-4 天能通;风险在 persona 行为校准(结果要'像那么回事'而非随机)和现场并发延迟,需要 2 个算法同学专职调 persona 分布与决策 prompt。
惊艳度 5/5两重炸点:视觉上'五百个消费者同时思考并投票'的群体动效自带冲击力;交互上评委可以当场出题、当场看到结果,而且能点开任何一个'虚拟用户'听它讲拒买理由——创新性(生成式群体仿真用于零售运营)和现场效果都是评委没见过的形态,大概率当场惊呼。
谈判道场 可行惊艳 采销谈判能力的 AI 训练场:大模型语音扮演各种风格的供应商(强势大牌总监、报价含糊的工厂老板、死守返点的老油条)陪新采销实战对练,谈完自动生成逐回合复盘与能力雷达图;附带真实谈判中的实时'军师'提词模式。
痛点采销的核心竞争力是对供应商的议价能力——它直接决定自营的低价和毛利,但这项能力今天只能靠新人被真供应商'毒打'慢慢练,老采销的谈判经验无法复制;京东每年大规模校招采销,谈判培训是真实且无解的痛点。
AI 不可替代性对手必须'又会演又会评':即兴扮演一个有性格、有隐藏底线价、会使锚定/拖延/以退为进等技巧的谈判对手,同时对整场多轮对话做策略级复盘(锚定失误、让步节奏、漏谈的账期与独家条款)——角色扮演+长对话策略分析的组合,只有大模型能胜任,规则化的培训题库完全做不到。
现场 demo现场邀请一位评委上台戴麦,跟'强势品牌方销售总监'AI 语音谈一款商品的采购价,AI 会真的施压:'这个价格?我们给别的平台都不止这个数!'——90 秒交锋后,系统立刻生成复盘:能力雷达图 + 关键回合逐条点评('第 2 轮你先报价,丢了锚定优势')+ 漏谈条款清单;再播一段 30 秒'实时军师'录屏:真实谈判转写中,侧屏提示'对方刚暴露库存压力,可压价 3 个点'。评委亲自下场被 AI 怼,记忆点极强。
京东契合切的是别的队都想不到的'人'的链路:京东采销人才培养体系(校招采销集训营、事业部谈判实战考核)。对京东的价值:采销议价能力是'真自营'低价心智的根基,此工具把顶尖采销的谈判经验沉淀为可无限复制的陪练与考核标准;向外可延伸为真实谈判的实时辅助,向内可成为采销任职资格认证的一环。
可行性 4/5ASR+LLM+TTS 语音管线全是成熟 API,主要工作量在供应商人格 prompt、隐藏底线的博弈设定和复盘 rubric,3-4 天出核心;风险是现场语音延迟和网络翻车,对策是充分彩排 + 实时军师模式用录屏兜底,评委互动环节准备文字版降级方案。
惊艳度 4/5评委亲自上台跟 AI 谈判是全场独一份的互动体验,'被 AI 供应商拍桌子'天然出记忆点,复盘报告的专业感再补一刀;差半分到 5 是因为炸点依赖现场语音不翻车,以及单人对话的画面丰富度不如群体仿真。

智能导购体验创新smart-guide

AI买家陪审团 可行惊艳 在商详页做一个'问真买家'入口:用户用自然语言问任何场景化问题,AI 从该商品数万条真实评论里提取证据,3 秒生成一份每句话都可点击溯源到原始买家评论的答案,正反面观点都摆出来。
痛点高客单商品(家电/3C/母婴)决策时,参数表看不懂、几万条评论没法翻、客服机器人答非所问,用户最后跑去小红书/知乎/B站搜'XX值不值得买'——购物决策在站外完成,京东只剩比价收银台的角色。用户真正想问的是'放 8 平米小卧室噪音吵不吵''狗毛多好不好清理'这种场景问题,现有搜索和评论关键词筛选完全答不了。
AI 不可替代性核心是'开放场景问题 × 海量非结构化评论'的语义匹配与归纳:'租房党搬家方便吗'需要模型理解这隐含'重量、可拆卸、包装'等维度,再从口语化、互相矛盾的评论里挑出相关证据、归纳共识与分歧、按用户场景组织成答案并逐句挂引用。关键词检索匹配不了场景语义,规则系统穷举不了开放问题,小模型做不好矛盾观点的归纳与忠实引用——这是长文本理解+归纳+溯源生成的组合,只有大模型能闭环。
现场 demo现场请评委对着一台扫地机器人任意提刁钻场景问题(如'家里两只猫,长毛,楼梯复式,行不行'),大屏 3 秒内流式生成结构化答案:结论卡+'支持证据 12 条/反对证据 3 条'的引用卡片,点击任一引用即跳转高亮那条原始买家评论(含买家等级、购买时间);再演示一个负面案例('别买的理由'也如实展示)证明不是营销话术;最后展示同一问题在传统评论搜索里的失败对比。
京东契合直接嵌入京东 App 商详页'问大家'和搜索结果页,截住每天流向小红书/知乎的购前决策流量;京东评论量是全网最真实的购后数据资产但目前只当摆设,此产品把它变成决策基础设施——提升高客单类目转化率、缩短决策周期、把'内容种草'环节留在站内,补齐京东相对淘宝逛逛/小红书最弱的内容决策短板。
可行性 5/5评论是公开数据,爬取或用公开评论数据集即可为 5-10 个 SKU 各准备数千条真实评论,mock 逼真度天然拉满;技术栈就是嵌入检索+LLM 归纳+引用 UI,2 个后端 2 天可通核心链路,剩余时间全部砸在引用交互和答案质量上;无图像生成、无语音、无实时性风险,现场演示几乎不可能翻车。
惊艳度 3/5说服力强但形态不新奇——评委看到'逐句可溯源+正反面都摆'会认可其诚实与实用,点击引用跳原评论的瞬间有说服力,但对话问答的外壳评委已见过很多,不会当场惊呼;胜在完成度和'这个明天就能上线'的真实感。
一拍到家追加 可行惊艳 拍一张你家房间的照片,AI 看懂空间尺寸、风格和已有物品,边聊需求边推荐适配商品,并把商品photorealistic 地'搬进'你的照片里预览效果,同时做尺寸红线校验('这台冰箱深 65cm,你这个转角塞不下')。
痛点家电家具是线上购物体验最差的类目:买之前想象不出'放我家什么样',尺寸靠自己拿卷尺量了再心算,风格搭不搭全凭赌——结果就是决策周期极长、大量用户跑线下店体验后被截流,以及'尺寸不合适/风格不搭'成为大家电家具退货的头号原因。
AI 不可替代性三层能力都非大模型不可:①视觉理解——VLM 从一张随手拍的照片里识别空间布局、估算可用尺寸、判断装修风格和已有家电,传统 CV 需要为每个子任务单独建模且无法开放理解;②融合推理——把视觉理解结果与多轮对话中的口语化需求('家里有娃''预算一万五')和商品结构化参数联合推理出'适配'结论;③图像生成编辑——把具体 SKU 以正确比例、光影、透视合成进用户照片,这是 2024 年后图像编辑模型才做到的事。
现场 demo现场直接拍路演教室一角(或调取评委手机里的客厅照片),90 秒完整走通:上传照片→AI 说出'约 12 平,北欧风,已有 55 寸电视,窗边有 1.2m 空位'→评委口述需求→出 3 个推荐+其中一台冰箱被渲染进照片原位,滑动切换不同 SKU 的摆放效果→故意选一台超尺寸的,系统弹红线警告'门框宽 78cm,此款需 82cm 通过,建议选薄款'→一键加购。'搬进你家'的渲染图出现那一刻是设计好的高潮点。
京东契合京东的基本盘就是家电家具 3C,此产品把线下门店'看实物、比划尺寸'的核心体验搬进 App,嵌入商详页'放我家看看'按钮和以旧换新/家装节链路;直接打退货率(尺寸风格不合是大家电退货主因,每单逆向物流成本极高)和决策转化两个硬指标,还天然衔接京东'送装一体'服务叙事——量好了、看好了、送到装好,闭环只有京东有履约能力接住。
可行性 3/5VLM 空间理解和对话推荐 3 天可通;风险集中在图像编辑质量——商品合成的比例、光影、遮挡关系不稳定,需要 2 个算法同学花 3-4 天在提示词工程和多模型(qwen-image-edit/即梦/gpt-image 类 API)择优上,并准备 3-5 个调试过的'演示房间+商品对'作为主路径,现场随拍作为加分尝试而非唯一路径;尺寸校验用 mock 商品库的结构化尺寸字段实现,无风险。7 天紧但可控,前提是接受'演示走预调路径、随拍是彩蛋'的策略。
惊艳度 5/5'现场拍照→AI 报出你房间的尺寸和风格→商品出现在你自己照片里'是三连击的视觉奇观,评委第一次见会本能地拿自己家脑补;尺寸红线警告又在'炫'之上补了'真有用'的智能感,避免被评为花架子。这是全场最容易被记住、最适合路演视频传播的 demo。
健康红绿灯 可行惊艳 把京东健康的用户健康画像(体检报告/慢病/用药/过敏)变成全站导购的约束层:买零食、点外卖、买药时,每个商品头上亮红黄绿灯,AI 解释'为什么你不该买这个'并给出替代推荐——做全网第一个'懂你不能要什么'的导购。
痛点中国有 1.4 亿糖尿病、2.45 亿高血压患者和庞大的过敏/服药人群,他们每次购物点餐都得自己兼任营养师和药剂师:配料表看不懂、菜品嘌呤含糖靠猜、感冒药和正在吃的降压药会不会冲突没人提醒。而所有平台的推荐系统只学'你爱吃什么',越爱吃炸鸡越推炸鸡——对这群人,个性化推荐不是服务而是伤害。
AI 不可替代性①多模态读懂体检报告照片和用药清单,抽取出结构化健康约束——OCR+规则做不到理解'尿酸 520 意味着限嘌呤';②开放世界推理:商品/菜品×健康状态的组合是无穷的,'无糖'饼干对糖尿病人是否真的安全(碳水依然高)、布洛芬与二甲双胍是否冲突,这需要医学营养知识+配料表推理的通用能力,规则库穷举不可能覆盖全站千万 SKU;③沟通分寸:提醒要温和、给替代、不说教不恐吓,这种拿捏是生成模型独有的。
现场 demo上传一份 mock 体检报告照片(尿酸偏高+确诊 2 型糖尿病+日常服二甲双胍),AI 10 秒生成健康约束卡;随后三幕连演:①搜'啤酒',商品列表集体亮红灯,点开看到'嘌呤+酒精双高,今晚要不试试这三款无醇精酿?';②点外卖,一键生成'控糖低嘌呤适配菜单',每道菜有绿灯理由;③买感冒药,弹出'与您在服的二甲双胍存在相互作用风险,已为您转接京东健康药师'——最后这一幕落在真实的商业闭环上。全程红黄绿灯 UI 让评委零解释成本看懂。
京东契合这是只有京东能做的组合拳:京东健康(问诊/药师/体检/慢病管理)+京东零售+京东外卖/秒送在同一个 App 里,美团没有药事纵深、阿里健康与淘宝割裂——健康画像作为导购约束层是京东独有的护城河型场景。业务上串起三条链路:健康数据反哺零售推荐、红灯商品导流药师问诊(京东健康高毛利服务)、'健康购物'心智直接支撑京东外卖对美团的差异化叙事,商业想象空间可以讲到慢病人群全生命周期经营。
可行性 4/5全链路是'多模态理解+LLM 推理+常规前端',没有图像生成或实时语音等高风险模块;健康画像、商品配料表、外卖菜单全部 mock(体检报告用模板伪造、配料表抄公开商品页),两三天可通核心 demo;主要工作量在把红黄绿灯判断的提示词调得医学上站得住+准备 20-30 个精心设计的商品案例。风险点是评委追问医疗合规,需在路演中主动亮出'提示非诊断、红灯必附药师入口'的设计。
惊艳度 4/5共鸣型惊艳:评委自己或父母几乎必有慢病/服药经历,'感冒药和降压药冲突被拦下'那一幕会让人心里一沉——这不是效率提升而是可能救命的功能;'所有队都在让 AI 更懂你想要什么,我们让 AI 懂你不能要什么'这句反转在路演里非常打人。差半分是因为交互形态(列表+弹窗)本身不炫,炸点在立意而非视觉。

直播切片AI剪辑/二创工具产品设计clip-tool

切片工厂 可行惊艳 上传一场直播回放,自动产出一批带标题、封面、字幕、商品锚点的可发布短视频切片,人只做最后把关。
痛点一场 3 小时采销直播讲几十个商品,人工剪一条 30 秒切片要 30-60 分钟,运营和商家根本剪不过来;90% 的直播内容播完即弃,回放资产几乎零复用,而短视频渠道(京东逛、搜索视频卡、站外分发)却长期缺内容。
AI 不可替代性判断『哪一段在讲哪个商品、哪句是价格锚点、哪里是卖点高潮、从哪帧切入切出最自然』是纯语义+多模态理解问题:需要把 ASR 转写、画面 OCR(价格贴片/商品弹卡)、语气节奏对齐后做口语语义分段,规则引擎和传统 CV 做不了跨模态对齐;切片标题、封面文案、话题标签的生成更是生成式模型专属能力。
现场 demo现场把一段 30 分钟 mock 直播回放(团队自拍带货直播或公开素材)拖进网页,进度条实时展示 ASR→商品分段→高光挑选→合成 的流水线;两三分钟后出现切片卡片墙,每张卡片=成片视频+AI 标题+封面+命中的商品与卖点标签,点开即播,支持一键『重剪这条』。提前跑好一场完整长直播兜底,现场再实跑一段短的证明不是录像。
京东契合直接嵌入京东采销直播→回放资产→『逛』频道/搜索短视频卡/商详页视频位这条内容分发链路。采销直播间是京东官方王牌(无达人佣金、内容版权归平台),切片让一次直播变成可长期分发的流量资产,边际成本趋近于零,也可作为工具开放给百万 POP 商家。
可行性 5/5ASR 用开源模型或 API,分段选段本质是 prompt 工程,ffmpeg 切割+压字幕是成熟工具链,8 个研发 3 天能通核心链路,剩余时间全部砸在切片质量和卡片墙的完成度上。
惊艳度 3/5流水线全自动跑通很扎实、完成度容易做高,但『AI 自动切片』这个概念评委大概率听过,惊艳只能靠卡片墙的数量感和标题文案质量,属于稳赢不惊呼的类型。
言出片随 可行惊艳 对着直播回放说人话下指令——『把空气炸锅降到 199 那一刻剪成 15 秒抖音风』——对话式剪辑 Agent 现场出片、多轮改片。
痛点运营对切片有明确意图(哪个商品、哪个瞬间、什么平台、什么风格),但意图和成片之间隔着专业剪辑技能的鸿沟;时间轴式剪辑软件学习成本高,而全自动切片工具产出千篇一律、没法按需定制,两头都不满足『我要的那一条』。
AI 不可替代性双重不可替代:一是自然语言意图到直播时间轴的语义瞬间检索(视频时序定位),需要多模态大模型对整场直播建立『可对话的索引』——『降价那一刻』『主播翻车名场面』这类查询关键词根本匹配不上;二是 Agent 把开放意图编译成剪辑 DSL(片段选择+字幕样式+比例裁切+BGM 卡点),靠 LLM function calling 驱动,规则系统穷举不了无限的意图组合。
现场 demo路演现场开一个聊天框,邀请评委即兴出题:『把讲羽绒服充绒量的部分剪成竖版带大字标题』——大屏左侧滚动 Agent 思考链(检索到 01:23:45、选中 22 秒、套竖版模板),右侧 30-60 秒内直接播放成片;再追加一轮『标题换个更炸的、加价格贴片』演示多轮对话改片。评委自己出的题被当场做出来,是全场最强记忆点。
京东契合是京东内容中台的『剪辑 Copilot』形态:采销运营、POP 商家、京东站外矩阵号(视频号/抖音分发团队)都是直接用户。长期是京东版剪映/即梦的差异化入口——剪辑能力与京东商品库、价格数据、营销日历原生打通(贴片自动带真实促销价),这是站外任何通用剪辑工具都给不了的护城河。
可行性 3/5核心难度是把出片时延压进一分钟:需要预先索引全场+低清代理素材预渲染+模板化合成三件套,多轮改片还有状态管理工程量。7 天做得出,但现场开放出题有翻车风险,必须充分彩排并准备兜底题库,把评委往预演过的题型上引。
惊艳度 5/5评委现场出题、当场出片,交互式 demo 在 5-8 分钟路演里是对播 PPT 队伍的降维打击;『思考链可视化+一分钟成片』的现场张力极强。
切中要害入选 可行惊艳 反向剪辑:从商详页真实提问和差评出发,自动在直播回放里定位『主播亲口回答这个疑虑的 20 秒』,剪出来钉回商详页问答区。
痛点整个切片行业都在卷『把直播剪好看』,没人回答『剪出来给谁看、解决什么转化问题』。消费者下单前的真实疑虑(粘不粘锅、噪音大不大、清洗麻不麻烦)主播其实在直播里都真人演示回答过,却埋在 3 小时回放里没人找得到——结果客服重复回答上千遍,图文答案又没有真人演示可信。
AI 不可替代性三段全是大模型才能干的活:①从海量口语化、非结构化的评价与提问中聚类出高频购买疑虑;②疑虑到直播语音/画面的跨模态语义检索与时序定位——『噪音大吗』要对上主播开机测分贝的那一段,关键词完全对不上,必须靠语义;③判断片段是否真正『构成回答』并生成答案摘要卡。字符串匹配和传统搜索在口语视频上彻底失效。
现场 demo大屏展示一个高仿真 mock 商详页(空气炸锅,评价区 200 条 LLM 批量生成的真实感提问),点击任一疑虑如『清洗麻烦吗』,右侧秒级定位到回放 01:47:12,自动剪出 18 秒主播拆洗演示片段(字幕高亮关键句),一键『钉到问答区』;随后切到聚合视图:一场直播被拆成『32 个疑虑→28 个视频答案』的转化弹药库,并标红 4 个『直播没讲到的疑虑』自动生成下一场直播的补充脚本建议——闭环收尾。
京东契合嵌入商详页评价/问答区这一京东最核心的转化场景——京东用户决策重度依赖评价问答,这正是京东对抖音、拼多多的信任壁垒。同时打通『直播内容→商详转化素材→下一场直播脚本』的飞轮,把直播从一次性流量场升级为京东信任资产的生产车间,还能直接量化为问答区视频答案的转化率提升和客服成本下降。
可行性 4/5检索定位走 ASR 转写+embedding 召回+LLM rerank,链路清晰;剪辑合成与切片工厂共用 ffmpeg 能力;mock 评价数据用 LLM 批量生成半天搞定。主要风险是时序定位的边界精度,需要 2 名算法专注调 2-3 天。
惊艳度 4/5角度出其不意——别的队都在『剪好看』,这个队在『剪转化』;『直播没讲到的疑虑反哺下一场脚本』的数据闭环会让懂业务的评委眼前一亮。视觉冲击不如现场出片,靠洞察深度取胜。

物流1 个赛题 · 3 个 idea

AI AGENT在物流仓运配等场景应用logistics-agent

妥投管家 可行惊艳 面向快递站长的异常件自动处置 Agent 工作台:AI 读懂每单异常的来龙去脉,自动外呼客户、改派、理赔,站长只做一键审批。
痛点末端配送站每天沉淀大量异常件(拒收、地址错、电话打不通、破损、超时),站长和小哥要逐单打电话、查记录、手工发起改派/理赔,一单平均耗时 10-20 分钟;异常原因散落在客户备注、通话录音、小哥上报文本和照片里,纯靠人肉拼线索,大促期间异常积压直接拖垮妥投率。
AI 不可替代性异常线索全是非结构化信息(客户口头改址的通话转写、破损照片、小哥随手写的上报),且处置是多步工具编排(查订单→判责→外呼确认→改地址→约二次派送→发起理赔),规则引擎只能覆盖头部场景,长尾组合爆炸。大模型的作用是:理解杂乱线索并归因、按 SOP 推理出处置链路、通过 function calling 串起所有系统动作,还能用 TTS 以自然对话完成客户外呼确认——这条链任何传统 NLP/规则方案都接不下来。
现场 demo一个站长工作台网页:左侧异常工单实时流入(mock 数据逼真到含通话转写、破损照片、历史轨迹),点开一单,右侧实时展示 Agent 的推理链和工具调用轨迹;现场播放 Agent 与'客户'(队友扮演,或 TTS 合成)的外呼对话音频,Agent 据对话结果自动改址+约二次派送+生成理赔单,站长点一次'批准'。压轴:开启'自动巡航'模式,10 单积压异常 2 分钟清空,旁边挂人工基线耗时对比。
京东契合嵌入京东物流末端配送链路:全国数万个营业部/众邮站点、几十万快递小哥,对应站长端'京牛'App 的异常工单模块。价值是把站均异常处理时长从十几分钟压到分钟级、提升妥投率和 NPS,大促期间等效于给每个站点免费加一个'调度文员',是京东物流降本提效叙事里最容易算清 ROI 的一环。
可行性 5/5核心就是 LLM tool calling + mock 工单流 + React 工作台,2-3 天可出可跑的核心 demo;TTS 外呼对话用现成语音 API 一天可加;全链路 mock 数据自造闭环,零内部依赖,13 人团队剩余时间全部用来打磨数据逼真度和演示节奏。
惊艳度 3/5外呼对话音频 + 自动巡航清空积压有'原来 Agent 真能干活'的说服力,但工单工作台形态常见,评委见过类似客服 Copilot,惊艳靠细节完成度而非形态本身。
洪峰指挥官 可行惊艳 大促爆仓推演指挥大屏:在自建的仓网仿真世界里注入 618 洪峰,AI Agent 实时诊断态势、生成调度预案并直接下场执行,肉眼看着爆红的仓网被救回绿色。
痛点618/11.11 备战时,指挥室里是人盯几十块大屏找异常、开会拍板调度方案,响应以小时计;爆仓征兆(某仓拣货堆积、某线路运力缺口)出现到人做出跨仓调拨/加开波次决策之间的延迟,直接变成履约超时和爆仓损失。现有大屏只'展示',不'思考',更不'动手'。
AI 不可替代性态势诊断需要同时读几十路指标流并归因到根因('华东仓积压是因为波次策略没跟上单量结构变化,不是人力不足'),预案生成是开放式组合策略(调拨+改波次+临时运力+降级承诺时效),还要用人话向指挥官解释利弊——这三步是 LLM 独有能力;传统 OR 求解器被降级为 Agent 手里的一个工具,由 Agent 决定何时调用、参数是什么。诚实答辩点:我们不是用 LLM 替代运筹优化,而是让 LLM 当'会用运筹工具的值班指挥'。
现场 demo一块电影感的指挥大屏:全国仓网地图上包裹流动画,现场点击'注入 618 零点洪峰',多个仓节点指标飙升变红;Agent 自动弹出告警、给出根因诊断和三套预案(附推演后果),演示者一句话下令'采纳方案二',Agent 调用仿真接口执行,30 秒内大屏肉眼可见由红转绿;分屏跑一个'无 Agent 基线'对照组,爆仓持续恶化。全程 Agent 的思考和指令以字幕流呈现。
京东契合嵌入京东物流大促备战指挥链路:京东每年 618/11.11 真实存在作战指挥室和物流态势大屏,本方案是给'智能大脑'补上'诊断-预案-执行'的 Agent 层。价值是把爆仓响应从小时级压到分钟级,保住京东最核心的'211 限时达'时效承诺;商业想象空间可外溢为京东物流对外供应链解决方案(一体化供应链客户同样需要洪峰推演)。
可行性 3/5难点在自建离散事件仿真引擎 + 大屏动画 + Agent 联调三件事都要做:简化版仿真(10 个仓、5 类事件、分钟级时间步)3-4 天可成,大屏前端 8 个研发里出 3 人专攻可保效果,但联调和'由红转绿'的剧本调参有翻车风险,必须提前把演示场景脚本化固化,留兜底录屏。
惊艳度 5/5指挥大屏 + 洪峰注入 + Agent 现场救火 + 双屏对照,是路演 8 分钟里最有戏剧张力的形态;'AI 不只是看板,它下场指挥'这句话配上由红转绿的画面,评委会有当场记住的画面感。
退货判官入选 可行惊艳 逆向物流多模态质检 Agent:退货商品拍几张照,30 秒输出成色定级、可售等级、处置渠道(二次上架/拍拍二手/翻新/报废)和回收定价,并自动生成流转工单。
痛点退货率逐年攀升(服饰品类尤甚),退货入仓后靠质检员肉眼定级:标准因人而异、单件耗时数分钟、品类知识要求高('这个吊牌剪没剪''这款耳机缺哪个配件'),定级错误直接导致该二次销售的报废、该报废的流入二手渠道引发客诉;退货商品在仓内滞留一天就是一天的资金占用。
AI 不可替代性开放品类外观质检是传统 CV 的死穴——按品类训小模型永远追不上京东数千万 SKU;多模态大模型能 zero-shot 看懂'白 T 恤领口发黄''手机后盖细划痕''鞋盒破损但鞋全新',还能把照片与商品详情页、用户退货原因文本三方比对(用户说'没用过'但鞋底有磨损→定级降档并留证),最后推理出处置渠道和定价。视觉理解+跨模态比对+业务推理三合一,非 VLM 不可。
现场 demo现场'随机考':请评委从我们带来的一筐真实二手物品里任选一件(甚至现场制造一点瑕疵——剪个吊牌、揉皱包装),用手机拍 3 张照上传,大屏实时展示 Agent 的看图推理过程,30 秒输出质检报告卡片:成色 B 级、瑕疵定位标注框、建议流转'京东拍拍'、回收价 89 元、自动生成的二手上架文案和仓内流转工单。再演一个'用户谎报'案例:退货原因写'全新未拆',Agent 从照片揪出使用痕迹并给出留证判责建议。
京东契合嵌入京东逆向物流链路:上门取件→逆向仓质检定级→二次上架/京东拍拍(二手)/备件库翻新/环保报废。价值三重:提升可再售比例直接回收货值、缩短退货商品资金占用周期、为京东拍拍输送标准化二手货源;这是别的队大概率想不到的角度——所有人都在做正向的仓运配,逆向物流恰是京东零售+物流+拍拍三方都在投入的真实战场。
可行性 4/5VLM API 开箱即用,核心是 prompt 工程 + 定级规则库 + 上传/报告前端,3 天可出核心;风险在现场实拍的稳定性(光线、角度、冷门品类),需要提前测试 30+ 件样品、固化拍摄引导 UI、备好兜底样品清单,这吃掉剩余时间但完全可控。
惊艳度 4/5'评委现场任选实物、当场出结果'是全场唯一没法用录屏造假的 demo,互动性和可信度碾压纯屏幕演示;'揪出用户谎报'的案例有惊喜感。差半分是因为单件质检的画面冲击力不如大屏指挥。

健康2 个赛题 · 6 个 idea

健康行业AI应用health-ai

AI药箱管家 可行惊艳 拍一拍家里的药盒,AI 自动建立家庭药箱档案,实时检测用药冲突、过期风险,并接入京东大药房一键补货。
痛点中国家庭平均囤药 20+ 种,老人同时服用多种慢病药:说明书看不懂、过期药照吃、联合用药禁忌(如华法林+布洛芬出血风险)没人把关。子女想管但不知道爸妈药箱里有什么。这是高频、真实、每个评委家里都存在的痛点。
AI 不可替代性药盒/说明书是典型非结构化多模态信息:包装照片角度随意、批号有效期印刷位置不定、说明书是数千字长文本。传统 OCR+规则只能抽字段,无法'读懂'适应症、禁忌、相互作用,更无法结合家庭成员画像(爷爷高血压+房颤在服华法林)做个性化风险推理,并用老人能看懂的人话解释'为什么不能同吃、该换什么'。多模态大模型是唯一能把'识别→理解→推理→解释'一条链打通的技术。
现场 demo评委现场随手拿一盒真药(我们自带 20 盒真实药品道具)用手机拍照,3 秒生成建档卡片(药名/规格/适应症/有效期倒计时)。然后切到预置的'爷爷'档案(高血压+房颤,在服华法林),现场拍一盒布洛芬——系统弹出红色警告'与华法林同服显著增加出血风险',给出替代方案对乙酰氨基酚并展示京东大药房购买链接与秒送 30 分钟达。最后展示过期药提醒与一键补货流。全程真机实拍、无剪辑,逼真度靠国家药监局公开说明书数据库兜底。
京东契合直接嵌入京东大药房复购链路:药箱档案→用完/过期预测→精准补货推送,把'一次性买药用户'变成'家庭健康账户',提升复购率与 LTV;同时家庭药箱档案是京东健康 C 端最自然的私域入口,向下可延伸家医问诊、上门回收过期药等增值服务。
可行性 5/5核心链路=多模态 API 识别 + 国家药监局公开说明书数据 + 公开药物相互作用知识库 + LLM 推理,没有任何需要内部数据或复杂工程的环节,2 名研发 3 天可出核心闭环,剩余人力全部投入打磨 UI 和 20 盒药品的识别稳定性。现场用真药盒拍照,mock 痕迹为零。
惊艳度 3/5拦截'布洛芬+华法林'那一下有小高潮,真机实拍也有说服力,但产品形态是工具型 C 端应用,评委见过类似概念,惊艳靠执行完成度而非创意本身。
康声·AI随访官 可行惊艳 为京东家医打造的 AI 语音随访 Agent:主动给慢病患者打电话,像真人医助一样追问病情、生成结构化随访档案,异常自动升级真人医生。
痛点慢病管理的命门是随访:糖尿病/高血压患者需要每周电话随访,但人工外呼成本约 8 元/通,家医团队根本覆盖不过来,绝大多数签约用户'签而不管',续费率崩塌。而患者端是口语化、方言化、答非所问的老人——传统按键 IVR 和规则话术机器人完全无法应对。
AI 不可替代性随访对话是开放域口语理解的极限场景:老人说'血糖嘛,还行吧就是有点渴',AI 必须听懂潜台词、实时决定追问什么(空腹值多少?多渴?夜尿几次?)、在跑题时温和拉回、最后把 20 分钟闲聊压缩成结构化随访记录并做风险分级。这是'实时理解+临床追问策略+共情表达+结构化抽取'四合一,规则引擎连第一句都接不住,非大模型不可。
现场 demo大屏展示'家医工作台':今日待随访 200 人队列。现场邀请一位评委戴上耳机扮演糖尿病患者,接听 AI 打来的电话,自由发挥回答——AI 实时追问空腹血糖、漏服药原因、并发症信号,被打断能接住。通话挂断 3 秒后,大屏生成结构化随访记录+风险评级。压轴:预置一通患者说'最近老口渴还头晕'的通话被标红,系统自动升级真人医生并推送复诊挂号+调药购药链路。收尾亮成本账:人工 8 元/通 vs AI 0.3 元/通,200 万签约用户年省数千万。
京东契合嵌入京东家医/互联网医院的慢病管理履约链路:随访是家医服务成本最高、最难规模化的环节,AI 外呼把单次随访成本降一个数量级,让'签而不管'变成'周周有人管',直接拉升家医续费率;每次随访天然产出续方与购药转化(调药→京东大药房下单→秒送),是服务与电商的闭环枢纽。
可行性 3/5ASR+LLM+TTS 实时语音链路的延迟控制、打断处理是硬工程活,8 人研发团队够用但需要 2 名研发专职调语音链路 5 天以上,且必须准备兜底方案(半双工模式+预热话术缓存)防现场翻车。患者档案全部自造,风险可控,但语音 demo 天然有 20% 现场故障率。
惊艳度 5/5评委本人与 AI 通话、被听懂、被追问、挂断后看到自己刚说的话变成结构化病历——这是黑客松现场杀伤力最强的 demo 形态。语音 Agent 的'活人感'远超任何屏幕演示,配合成本账叙事,评委会当场记住这个队。
审方雷达入选 可行惊艳 面向药师的 B 端处方智能预审系统:AI 对处方流做红黄绿分级,硬性禁忌秒级拦截、语义疑点标注理由,药师只复核 AI 标出的问题单。
痛点法规硬性要求互联网医院每张处方必须经药师审核后才能发药,京东健康日均处方量以十万计,药师人均每张只有几十秒——疲劳漏审是真实合规风险,而 95% 的处方其实完全正常,药师人效被无差别审核吞噬。这是京东健康每天在烧钱的、外行想不到的痛点。
AI 不可替代性审方的难点不在硬规则(超量、孕妇禁用可以查表),而在语义层:诊断与用药适应症是否匹配('上呼吸道感染'开'左氧氟沙星'合不合理?14 岁患者呢?)、超说明书用药识别、剂量与年龄/体重/肾功能的联合推理,以及最关键的——用药师能读懂的一句话说清'为什么拦'并引用说明书原文。规则引擎只能覆盖 30% 的硬禁忌,语义审核与可解释理由生成非大模型不可;LLM 做预审、规则库做硬校验的双层架构本身就是答辩加分点。
现场 demo大屏'审方台'实时灌入 mock 处方流(每秒 2-3 张,基于国家药监局公开说明书+自造患者画像生成,含 5% 埋雷单):绿色自动放行、黄色标注疑点、红色拦截,每张附一句可读理由('14 岁患者,左氧氟沙星 18 岁以下禁用,建议换阿莫西林')。切药师视角一键复核黄单。压轴对抗环节:请评委现场口述或手写一张故意埋雷的处方(如'孕妇+利巴韦林')拍照上传,系统 3 秒拦截并引用说明书原文举证。收尾数据:药师人均审核量提升 6 倍,漏审率归零。
京东契合嵌入京东互联网医院处方前置审核这条法规强制的合规链路:药监部门明确要求处方经药师审核方可调配,这是京东健康医药电商每一单的必经关口。AI 预审直接提升药师人效、压降漏审合规风险、缩短用户下单到发药的等待时间(体验即转化);向外还可输出给药京采生态里的中小药房,变成 B 端 SaaS 商业化想象空间。
可行性 4/5核心是 LLM prompt 工程+公开药品说明书库+规则硬校验+流式大屏,没有语音/实时链路风险,4 天可出核心。真正的工作量在攒一套高质量、带分层雷点的 mock 处方集(约 500 张,需要 2 名算法+产品一起标注校对),这决定 demo 可信度——但这是纯体力活,风险可控。
惊艳度 4/5大屏处方流+红黄绿实时分级本身视觉冲击不俗,'评委现场埋雷、AI 秒级拆弹'的对抗环节把演示变成了挑战赛。更深层的惊艳在认知层:当别的队都在做 C 端健康聊天时,这个队在做京东健康真实的合规基础设施——评委(尤其是业务线评委)会觉得'这帮新人懂业务'。

京东买药-产品小创新pharmacy

药箱管家 可行惊艳 拍一张药盒照片就把全家的药管起来:AI 建档家庭药箱,把说明书翻译成针对'这个人'的大白话用药卡,自动查相互作用、过期标红、断药前一键京东复购。
痛点中国家庭药箱普遍杂乱:说明书字小术语多没人看得懂;老人多药并用,'这个药和我在吃的降压药能不能一起吃'没人回答;过期药照吃、常备药吃完了才半夜抓瞎。买药 App 的交易在下单就结束了,药进了家门之后是服务真空——而这段真空恰恰决定复购和信任。
AI 不可替代性两处非大模型不可:(1) VLM 识别任意角度、皱褶反光的药盒/铝塑药板照片并对齐到标准药品条目,传统 OCR+规则在真实家庭场景下根本不可用;(2) 说明书是法规文本,要按用户画像(年龄/孕哺/肝肾/正在服的其他药)重写成个性化大白话,并对药箱内任意药物组合做相互作用推理和自然语言解释——规则库只覆盖头部组合,长尾交叉与'讲人话'只有 LLM 能做,且每条结论回链说明书原文防幻觉。
现场 demo评委现场从口袋掏任意一盒真药拍照,3 秒建档进家庭药箱;语音问'我妈在吃苯磺酸氨氯地平,这盒感冒药她能吃吗',AI 用大白话回答并高亮说明书原文出处;药箱页里过期药标红、布洛芬余量不足自动生成京东复购购物车(mock 下单页)。全程真机操作,用评委自己的药盒——mock 的只有订单链路,识别和解读都是真的。
京东契合直接长在京东健康 App 已有的'家庭药箱'入口上(现状是手动录入的弱功能),把它从记事本升级成服务枢纽:余量/过期驱动的复购提醒直接拉 OTC 复购 GMV,药箱数据沉淀为家庭健康档案,反哺慢病人群运营和处方药续方,是买药业务从'交易'走向'健康管理'的第一块跳板。
可行性 5/5核心链路=多模态识别+说明书 RAG,都是成熟能力:药品说明书从国家药监局等公开渠道整理三五百条建库,2 个算法同学两三天可跑通识别→建档→问答;剩下 4 天 8 个研发足够把药箱管理、提醒、复购 mock 和 UI 打磨到高完成度。最大风险只是识别准确率,可用'demo 用药提前入库+现场任选'兜底。
惊艳度 3/5现场用评委自己的药盒实测,真实感和实用感很强,'扫谁的药盒都行'是可信度杀手锏;但拍照+问答的交互形态评委见得多,惊呼点靠稳和准,不靠奇。
秒送守夜人 可行惊艳 深夜家庭用药应急 AI 药师:孩子半夜发烧,语音喊一声,AI 三轮追问后先盘家里药箱能不能顶、按体重算准剂量,缺药一键京东秒送 28 分钟达,踩到红线立刻转急诊指引。
痛点深夜突发用药是买药场景里情绪浓度最高的时刻:孩子烧到 39 度、老人急性肠胃炎,家长慌乱中面对四个问题——要不要去医院?家里的药能不能吃?剂量多少?买什么药最快送到?现在的答案散落在吓人的搜索结果和打不通的问诊里,而京东买药秒送的履约能力恰好没被这个场景的心智占领。
AI 不可替代性慌乱的家长填不完 20 题问卷,只有 LLM 能在开放语音对话里用三四轮追问把'孩子烧了'收敛成结构化信息(月龄/体温/精神状态/既往用药);再结合家庭药箱库存和儿童体重做个性化剂量换算与'先用家里的还是必须买'的决策;红线识别(热性惊厥、呼吸困难等指征→立即就医)需要在自由对话中持续监听,规则问卷和传统 NLU 都做不到。合规上明确定位:不诊断,只做用药安全网+履约调度。
现场 demo现场情景剧,手机投大屏:评委扮演家长,凌晨 2 点语音喊'孩子烧到 39 度 2 怎么办'——AI 语音追问三轮(几岁?精神怎么样?家里有什么退烧药?)→ 给出'药箱里的对乙酰氨基酚滴剂按 14kg 这次喂 1.5ml,先不用买'+ 同步下单退热贴,地图上骑手轨迹+28 分钟倒计时动画 → 30 分钟后自动弹出复测体温提醒;换一个'孩子抽搐了'的输入,AI 立刻中断购药流程转急诊指引。全程 90 秒,秒送订单为 mock,对话与剂量计算全真。
京东契合直接叠在'京东买药秒送'(O2O 分钟级履约)网络上,把秒送从比价工具升级为'家庭深夜医疗安全网',抢占夜间应急心智、拉动客单价高且时效溢价强的夜间订单;红线转诊无缝接入京东健康互联网医院问诊,是秒送×互联网医院两条业务线的天然连接器。
可行性 3/5ASR+LLM+TTS 语音管线、红线规则集、剂量计算器、秒送 mock 地图四块并行,8 个研发 7 天做得完但没有富余;主要风险是现场语音延迟和打断体验,需要预留两天专门调管线,并准备'语音输入+卡片输出'的降级路径和脚本化排练。
惊艳度 5/5深夜孩子发烧是全场评委无差别共情的场景;语音对话+精确到毫升的剂量卡+骑手倒计时把'AI 能力'翻译成了'被守护的感觉',红线场景的急转弯更是天然的戏剧高潮——路演 5 分钟里它是最有故事的 demo。
审方雷达 可行惊艳 给京东互联网医院药师的 AI 审方工作台:处方流实时预审,配伍禁忌/剂量超限/特殊人群风险自动分级,九成干净处方批量放行,高危处方附证据链供药师一键复核。
痛点法规要求每一张互联网处方必须执业药师人工审核,京东健康日均处方量巨大,药师人均审方压力极大;审方是'海量重复+少量高危'的典型结构——疲劳漏掉一张'哺乳期禁用药'就是用药安全事故加合规风险。所有队都在做 C 端买药体验,没人替供给侧这道法定瓶颈工序说话。
AI 不可替代性传统审方规则引擎只覆盖头部禁忌组合,且误报率高到药师直接忽略告警;真实处方的风险藏在长尾里:诊断自由文本与适应症是否匹配、中西药联用、老年多重用药的叠加效应——这需要 LLM 读非结构化诊断、跨药品说明书推理,并生成药师可核验的证据链解释(引说明书/指南原文)。'能解释、可追溯'是药师敢用的前提,也只有大模型能把判断和引证一起给出来。
现场 demo双屏对比:左屏'传统模式'药师逐张翻处方;右屏审方雷达工作台,自造的 500 张 mock 处方(按真实处方结构生成,混入 30 张埋雷:哺乳期禁用左氧氟沙星、儿童剂量超标、氯吡格雷+奥美拉唑相互作用等)实时流入,AI 分流为绿/黄/红,评委现场点开任意一张红色处方看证据链和说明书原文引用;结尾亮出评测板:同样 10 分钟,人工审 40 张 vs AI 辅助审 500 张,30 个埋雷抓出 28 个。
京东契合嵌入处方药售卖的法定链路:互联网医院开方→药师审方→大药房发货,审方是这条链的合规瓶颈也是人力成本大头;审方雷达直接提升药师人效和用药安全底线,而处方药是京东健康医药收入增长最快的盘子——这是处方药 GMV 扩张的合规基础设施,商业价值可直接折算成药师人力与事故成本。
可行性 4/5拿不到真实处方反而不构成瓶颈——处方结构简单,自造数据天然逼真;核心=LLM+说明书 RAG 的判别管线+一个工作台 dashboard,两三天出核心;算法同学用埋雷集跑出召回/误报数字,给路演一个硬指标。风险点是误报率调优需要迭代,但 demo 集可控。
惊艳度 4/5'AI 当场抓出人眼漏掉的死亡组合'有专业冲击力,双屏吞吐量对比和召回率数字对评委(多为业务/技术管理者)是直接命中降本增效语言的画面;弱于秒送守夜人的情绪浓度,但'全场唯一 B 端方案'本身就是记忆点。

工业1 个赛题 · 3 个 idea

工业品采购数字化平台industrial

清单秒购 可行惊艳 把任意格式的采购清单(手写领料单/Excel/微信截图)一键转换成标准购物车的智能解析引擎
痛点制造企业的车间报修单、领料单五花八门:手写纸条、行业黑话("6202 轴承两只""圆钢 45# φ20")、残缺型号、Excel 乱表。采购员要逐条人肉搜索核对,一张 50 行清单搜一下午,选错型号还导致高退货率。这是工业品电商"线下清单→线上订单"转化漏斗的第一道、也是最大的一道摩擦。
AI 不可替代性行话、缩写、残缺描述没有规则可穷举,必须靠大模型做语义解析+参数抽取+单位归一化;手写单和乱格式表格需要多模态 OCR+表格结构理解;每行给出"确定匹配/需人工确认/未找到"的置信度分级判断,本质是 LLM 的模糊推理能力,传统搜索引擎和规则引擎在这类长尾输入上直接失效。
现场 demo路演时现场发一张打印的"车间手写领料单",评委用手机拍照上传→大屏上逐行流式点亮:每行乱码般的描述被解析成结构化字段(品名/品牌/型号/参数/数量)→自动匹配自建的 5000 SKU mock 商品库(用公开 MRO 商品数据+自造数据构建,页面样式对齐京东工业)→绿黄红三色置信度标注→黄色行展开 AI 追问("您要的是半牙还是全牙?")→红色行给出替代建议→30 秒生成完整购物车并导出比价单。全程无剪辑真实跑通。
京东契合嵌入京东工业企业购/iSRM 的下单入口链路。京东工业的核心客户是能源、制造类央国企大客户,他们的采购需求恰恰以线下清单形式产生——清单到订单的转化率提升直接等于平台 GMV 增长;解析沉淀的"黑话→标准 SKU"映射还能反哺墨卡托商品库的搜索词库,是可持续积累的数据资产。
可行性 5/5核心链路=LLM 结构化抽取+embedding 检索+一个表格前端,两三天可出核心 demo;剩余时间打磨手写单 OCR 稳定性、mock 商品库逼真度和演示脚本。8 个研发绰绰有余,几乎没有技术不确定性。
惊艳度 3/5"上传文件→出表格"的形式评委见得多,惊艳靠两点拉分:现场拍真实手写单的即兴感,和逐行流式解析的舞台效果。实用价值感强、但视觉冲击中等,属于"点头认可"而非"当场惊呼"型。
工业慧眼入选 可行惊艳 拿手机拍一下坏零件或设备铭牌,AI 识别型号、判断停产、给出参数级替代选型并一键下单的维修急救入口
痛点设备突发故障时,维修工手里只有坏件实物或一块油污反光的铭牌,不知道准确型号;老设备零件已停产,人工找可替代型号要翻选型手册、打电话问原厂,平均耗时数天——而工厂产线停机一小时损失就是数万元。MRO 采购里最痛、最愿意付钱的场景就是"紧急维修找件"。
AI 不可替代性两处非大模型不可:一是铭牌照片信息脏(油污/反光/残缺),VLM 能结合零件外观特征与铭牌残字做联合推断,传统 OCR 只会输出乱码;二是停产件替代要做"参数级等效性推理"——电压、安装孔距、认证、温升等多约束逐项比对并给出风险提示,厂商和型号组合是无穷长尾,规则库永远建不全,只有大模型能基于选型手册知识做这种比对推理。
现场 demo主持人从口袋掏出一个真实的接触器(旧件,提前准备)→现场手机拍照→大屏实时显示:识别出品牌型号→查 mock 商品库显示"该型号已停产"→AI 生成 3 个替代型号的参数对比矩阵,逐格点亮:一致项打勾、差异项标红并附风险提示("线圈电压一致;安装孔距差 2mm,需转接板")→一键加购,显示"次日达"履约承诺。加演一段语音:"帮我找个能替它的国产便宜货",AI 秒回国产平替+价差。替代关系数据用公开的施耐德/正泰等选型手册预制 30-50 组,诚实且逼真。
京东契合嵌入京东工业品 App/小程序的移动端拍照购入口,直接服务其核心客群(工厂设备、维修、运维人员)的 MRO 高频场景,和京东工业"最快 X 小时达"的履约网络形成组合拳;识别与替代记录持续沉淀为墨卡托商品库的"可替代关系图谱",是竞对短期抄不走的数据壁垒。
可行性 4/5多模态 API 识铭牌很成熟,替代对比靠预制数据+LLM 推理,核心三四天能通。扣一分在现场稳定性:实物拍照受光线角度影响,必须提前对演示零件反复调 prompt、准备兜底缓存,演示工程量不小。
惊艳度 5/5"实物零件→数字商品"的瞬间转换自带魔法感,参数对比矩阵逐格点亮是天然的舞台高光;评委人人都懂"拍照购物",但拍的是工业零件且能推理停产替代,超出预期,大概率当场传阅拍照。
万品归一 可行惊艳 把工业品厂商的 PDF 产品画册/选型手册一键炼成成百上千个标准化、可搜索、可上架商品的供给侧数字化工厂
痛点所有队伍都在做"帮采购方买",但工业品平台真正的死穴在供给侧:中小工业品厂商只有排版给人看的 PDF 画册和纸质目录,没能力按平台类目模板逐个发布商品——人工录一个 SKU 要 10 分钟,一本 200 页目录含几千 SKU 根本没人录;录得烂就搜不到,搜不到就没销量,供应商入驻即流失。商品数据质量差是工业品电商搜索转化低的根因。
AI 不可替代性产品画册是典型的"给人看"文档:表格跨页、图文混排,尤其是一页"型号编制规则说明"(如 NB1-63 C16/2P 的编码含义)实际代表几十上百个 SKU 的组合展开——这需要多模态文档理解+符号规则推理的组合,万千厂商排版各异,规则引擎和模板 OCR 完全无解;类目挂载、属性名到平台标准属性的语义映射、合规商品标题生成,也都只有大模型能做。
现场 demo现场上传一本真实可公开下载的国产低压电器厂商 PDF 选型手册→大屏翻页动画式解析→高光时刻:从一页型号编制说明自动展开出 120 个 SKU,计数器滚动跳升→每个 SKU 生成标准属性表(对齐自建的 mock 墨卡托类目模板)、自动裁切题图、生成合规标题→"上架质检"页给每个 SKU 打完整度分并列出缺失字段向厂商追问→批量上架到 mock 商城,评委当场在商城前台按"额定电流 16A、2P"筛选,搜到刚刚从 PDF 里诞生的商品。从一本目录到可被搜到的商品,全链路闭环。
京东契合直击京东工业招股书里排第一位的"商品数字化"环节——墨卡托标准商品库的供给入驻链路:供应商入驻建品成本从周级降到小时级,长尾工业品供给快速扩容,直接做大 SKU 池、提升搜索转化;对京东工业的招商和类目运营团队是立刻能用的内部工具,商业想象空间还可外溢为向品牌商收费的 SaaS 能力。
可行性 4/5PDF 多模态解析+LLM 展开+商品页渲染,核心链路两三天可通;难点是型号编制规则展开的准确率——选定一两本配合度高的目录深度调优、演示走预解析缓存即可稳住。商城前台可搜索这个闭环需要前端多花两天,团队 8 研发+1 设计够用。
惊艳度 4/5"一本 200 页目录几分钟变成上千个可搜索商品"的数量级冲击很强,SKU 计数器滚动+当场前台搜到是两个记忆点;更重要的是角度刁——评委会意识到这队看懂了工业品电商的供给侧本质,"懂行"本身就是惊艳。差一分是因为文档解析类 demo 视觉魔法感略逊于实物拍照。

科技1 个赛题 · 3 个 idea

未来办公AI应用探索future-office

拍板 可行惊艳 会议承诺追踪系统:把会上拍板的每一句口头承诺,自动变成有主语、有截止日、可回放原声、可自动催办的任务闭环。
痛点大厂会海里最贵的浪费不是开会本身,而是'会上说好的事没人落地':口头承诺没人记、记了没人追、追了当事人说'我没说过'。会议纪要工具只解决'记录',不解决'履约'——纪要生成后就死在文档里,跨部门对齐会尤其严重,大促前对齐十次、落地三次。
AI 不可替代性核心难点是从多人交叉、口语含糊的对话里判断'这句话到底是不是承诺':'下周我看看吧'和'下周三我把接口文档给你'的区别,'那个事'指代上次会议哪件事,主语是发言人还是他代表的团队——这是语义理解+跨会话指代消解,关键词规则和传统 NLP 做不了;催办话术还要按对象和逾期程度生成不同语气,同样非 LLM 不可。
现场 demo现场播放一段 3 分钟自导自演的 mock 周会录音(写好剧本,埋 5 个承诺、2 个含糊推脱):屏幕左侧实时转写,右侧承诺卡片逐条弹出(谁/交付什么/何时,含糊承诺标黄并生成追问话术)。然后时间快进一周:系统在仿京ME 的 IM 界面自动发出分级催办;演一段当事人赖账'我没说过',演示者点卡片上的'回放'——当时的录音片段+原话高亮当场打脸。收尾展示团队履约率看板。全程用自造录音+mock IM,数据闭环诚实且逼真。
京东契合嵌入京ME(内部 IM)+ 京东云会议 + 京东 Teams 协同任务链路:会后承诺自动落任务、到期自动在京ME 催办。京东零售×物流×健康×科技跨 BG 协作会议密度极高,大促前对齐会成百上千场,承诺落地率直接决定 618 交付;长期可长成组织级'执行力仪表盘',给管理层看哪条业务线言出必行——这是京东强执行文化(拼搏/主人翁)的数字化抓手。
可行性 5/5技术栈全是成熟件:公开 ASR API 转写 + LLM 结构化抽取 + React 看板/mock IM 界面,没有实时性和多模态硬骨头。2 算法调 prompt 做抽取与指代消解,8 研发分前端看板、mock IM、回放剪辑、催办引擎,3 天可出核心 demo,剩余时间全用来打磨剧本和演示节奏——完成度分稳拿。
惊艳度 3/5'录音回放打脸赖账'和'含糊承诺标黄追问'两个环节有现场笑点和小高潮,但会议 AI 品类本身太拥挤,评委见过大量纪要生成器,需要靠'追履约而非记纪要'的定位差异和演示剧本质量拉分,天花板难到 5。
618 战情官 可行惊艳 大促作战室的 AI 值班参谋:实时吞掉告警风暴、刷屏群聊和指标曲线三路信息流,当场收敛成一张能拍板的根因卡,还能语音问答指挥大屏。
痛点618 零点是京东'办公'的极端形态:作战室里告警每分钟几十条、值班群一秒十几条消息刷屏、大屏指标抖动,值班同学的真实工作是'在噪音里找那一句关键信息'——告警平台只会按规则聚合同类告警,读不懂群里那句'刚才网关发了一版',跨信息源的关联全靠老兵的脑子,新人值班基本是摆设,MTTR 全押在个人经验上。
AI 不可替代性结构化告警 JSON、自然语言群聊、时序指标是三种异构信号,把'47 条超时告警 + 群里一句发布通知 + 下单转化率拐点'融合成'网关发布引发超时,建议回滚'的根因假设,是开放域语义推理,规则引擎和传统 AIOps 聚类都做不到;开放式语音问答('华北仓履约延迟影响多少单?')更是只有 LLM+function calling 能在动态数据上即席回答。
现场 demo现场一块作战大屏,三栏实时滚动:告警流、值班群聊流、核心指标曲线,由回放脚本注入预先编排的'618 零点流量洪峰'剧本(基于公开大促复盘文章设计,mock 得有真实事故的纹理)。90 秒内 47 条告警+群聊刷屏,视觉上一片混乱——AI 战情官把它收敛成一张根因卡并 TTS 语音播报:'华北网关 5 分钟前发布引发下单链路超时,建议回滚,影响预估 X 万单'。然后演示者(可邀评委)口头提问,AI 秒答并在大屏高亮对应仓/链路;一键生成值班战报收尾。混乱→一句人话的收敛瞬间就是路演的爆点。
京东契合直接嵌入京东 618/11.11 大促作战指挥室链路:对接告警平台、值班京ME群、商智/大屏指标,缩短 MTTR、把值班从'老兵专属'变成新人也能顶的岗位;大促后降级为日常 on-call 值班助手,全年可用。对京东这是'战时办公'的效率武器——大促是京东的生命线,任何缩短故障定位时间的工具都能直接换算成 GMV 挽回,商业叙事天然成立。
可行性 3/5单点技术都不难(回放脚本、LLM 流式关联、TTS/ASR、大屏前端),但要素多、集成风险高:实时链路+语音+大屏三件事同时要稳,7 天里至少 2 天要留给联调和剧本彩排。13 人团队够分工,且有明确降级路径——语音问答砍成文字输入、'实时'降成 10 秒批处理,demo 效果损失可控,不至于翻车。
惊艳度 5/5大屏上告警风暴被 AI 当场收敛成一句结论+现场语音对答,是感官层面的震撼,不需要评委脑补价值;618 作战室又是京东人集体记忆,评委大概率亲身值过班,'这东西零点值班时我想要'的共鸣是本能反应,现场惊呼概率最高的一个。
随身师兄 可行惊艳 新员工的多模态'随身老员工':对任何内部系统界面、群聊消息截图圈一圈,它就解黑话、讲背景、指路该找谁、带你走流程。
痛点新人入职京东的真实窘境:群里一句'亚一爆了先切亚五'完全看不懂,黑话(青龙、京准通、色拉、封网)满天飞,文档散落在 wiki 各个角落,导师忙得三天回一句,'不敢问、问不着、查不到'让 ramp-up 拖到两三个月。这是每个校招新人正在经历的痛——包括台下评委当年,和台上我们此刻。
AI 不可替代性核心是多模态语境消歧:同一个词'池子'在选品页面截图里是选品池、在财务系统里是资金池,必须让模型同时看懂截图里的界面元素、上下文和圈选位置才能给对解释——静态黑话词典查询做不到;'该找谁'的组织寻路(从'物流侧接口报错'推理到具体 on-call 角色)和'替我起草求助消息'也都是推理+生成任务,非大模型不可。
现场 demo演示者扮演入职第三天的新人:打开 mock 的内部系统和仿京ME群聊(自建一套京东黑话词典——公开渠道可整理数百条——加虚构 wiki 和组织架构,界面做到以假乱真),悬浮球截图圈选那句'亚一爆了先切亚五',AI 读图后分三层回答:术语解释、这句话要求你做的动作、该联系的 on-call 是谁并起草好求助消息。第二幕演'第一天办入职':问'给测试机申请权限走什么流程',AI 给出流程图+审批人+一键发起。彩蛋环节现场邀评委出题考它一个黑话,赌共鸣。
京东契合嵌入京东新人入职链路:HR 培训体系 + 导师制('师兄'即京东导师文化的 AI 化)+ JoySpace/内部 wiki + 京ME。京东每年数千校招新人、大量社招和跨 BG 转岗,ramp-up 每缩短一个月都是真金白银;长期价值是把散落在老员工脑子里的组织知识沉淀成可继承的资产,人员流动不再带走 know-how——对 60 万人规模的组织,这是入职效率之外更大的商业想象空间。
可行性 4/5多模态 API 读截图 + 黑话库/mock wiki 的 RAG + 悬浮球前端,都是一周内可控的活;主要工作量在把 mock 数据(黑话词典、虚构 wiki、组织架构、仿真界面)造得足够逼真,这恰好适合 2 产品+1 设计深度参与,13 人团队 3-4 天出核心 demo,浏览器插件形态多留 1 天缓冲。
惊艳度 4/5单看技术不炸,但叙事是满分:一群入职两周的校招新人,做了一个自己此刻最想要的工具,评委全员当过新人、带过新人,'圈一圈截图就有师兄回答'的会心一笑和情感共鸣是别的队复制不了的;风险是惊艳靠共鸣而非视觉冲击,遇到只看技术的评委会打折。

创新零售2 个赛题 · 6 个 idea

线下零售AI导购offline-guide

懂行·家电AI顾问 可行惊艳 立在京东MALL家电区的语音导购立牌:顾客一句大白话需求,AI追问两轮后给出参数级三款对比、讲人话的差异解释,最后扫码把整段咨询和购物车带回京东APP下单。
痛点家电3C的参数墙(一级能效/变频/混动风道)顾客根本看不懂;真人导购要么不在、要么只推提成高的;顾客线下摸完实机回家上网比价,门店沦为免费展厅,成交流失——这是线下家电零售最痛的一条链。
AI 不可替代性①把'家里三口人、厨房小、预算三千'这种模糊需求翻译成参数空间的结构化检索,规则引擎和传统推荐系统做不到;②多轮追问补全隐含约束(装修孔位、噪音敏感、老人使用),这是LLM的对话规划能力;③把参数差异翻译成生活语言('这台一年电费省120块')并给出中立可解释的推荐理由——榜单式推荐讲不出'为什么',大模型能。还能现场接住'隔壁便宜200'这类刁难,用价保/以旧换新话术化解。
现场 demo现场立一台平板kiosk,评委直接上手:语音说需求→AI追问两轮→甩出3款对比卡片(每项参数旁边是大白话注释)→评委刁难比价问题,AI接招→生成'导购小票'二维码,评委手机一扫,整段对话+购物车无缝出现在手机H5上(模拟京东APP续接)。Mock方案:自建300 SKU家电库(公开商品参数清洗入库),因为家电参数本来就是公开信息,逼真度天然拉满,评委看不穿。
京东契合嵌入京东MALL/城市旗舰店/京东电器专卖店的'线下体验、线上履约'全渠道链路:门店当体验场,成交回流京东APP(自营价格力+送装一体),直接回答'线下店如何不当竞品的展厅'这个京东真实命题;每次线下咨询还沉淀为线上可运营的用户资产,把1.5万+门店的导购服务水位一次性标准化。
可行性 5/5核心链路=语音识别API+RAG检索+结构化对比卡片渲染,两三天可跑通;剩余四天全砸在追问策略、参数人话翻译的prompt打磨和扫码续接体验上。8个研发分前端/语音/检索/H5四组绰绰有余,无任何高风险技术依赖。
惊艳度 3/5语音交互+扫码把对话带走有体感,'讲人话的参数翻译'和接住刁难问题是加分细节;但'对话式推荐'的形态评委见得多,惊艳靠执行质量而非形态本身。
鲜知道 可行惊艳 七鲜超市里的'拍一拍导购':手机摄像头对准任何生鲜商品,AI边看边说——教你挑品相、告诉你怎么做、再把整桌菜缺的配料排成一条店内取货动线。
痛点生鲜是最需要导购的品类(挑鱼看鳃、挑瓜听声、牛排部位差价三倍),但超市几乎零导购;顾客'想做一道菜却不知道买什么''买了主料忘了配料',连带销售全靠顾客自觉——七鲜的客单价和连带率提升一直缺抓手。
AI 不可替代性①开放场景下的商品识别+品相判断('这颗牛油果偏硬,适合后天吃')是多模态大模型独有能力,条码扫描和传统CV分类只认'是什么',看不出'好不好';②从一句'今晚想做牛排晚餐'反推整桌菜谱、缺料清单和分量,是生成式推理;③视觉+语音+清单三路实时融合成'边逛边聊'的体验,任何单点技术都拼不出来。
现场 demo现场搭一个迷你货架,摆30-50件真实商品(水果/牛排/红酒/调料)。评委拿手机对准牛油果,AI语音点评生熟;评委说'今晚做牛排晚餐',AI识别他手里的部位、报腌制做法,屏幕弹出缺料清单(黑椒酱/黄油/红酒)并在店铺平面图上画出取货动线,一键变购物车。Mock方案:50个SKU预注册(多角度照片few-shot锚定VLM+人工校准),货架坐标手工标注——现场识别是真实发生的,评委看不穿也不需要看穿。
京东契合直接嵌入七鲜(7FRESH)APP的'扫一扫'入口。七鲜是京东自营线下业态,SKU/货架/库存数据全在自己手里,落地不需要任何第三方配合;价值=菜谱式购物天然带3-5件连带,直击生鲜超市客单价命门,且同一套'会挑会做'能力可反哺京东到家/即时零售线上业务,一鱼两吃。
可行性 3/5VLM API(Qwen-VL-Max/GPT-4o级)识别真实商品可跑,但现场光照、网络延迟、识别稳定性是硬风险,需要4-5天联调+把识别严格收敛到预注册SKU+准备识别失败的兜底(退化为语音搜索)。2算法做识别锚定、其余研发分语音/H5/清单动线三组,产能刚好够,没有余量。
惊艳度 5/5评委亲手拿起真实商品、被AI当场'看穿'并语音点评品相,是全场少有的物理世界+AI实时闭环;'挑瓜→点菜→配齐→动线'天然构成5分钟路演剧本,缺料动线图让商业价值肉眼可见。
刁客·导购陪练场 可行惊艳 把AI导购反过来用:大模型扮演比价党、技术杠精、犹豫王等刁钻顾客,给京东1.5万家下沉市场加盟店的导购当陪练,每局实时评分+逐句话术复盘。
痛点京东家电专卖店多是县乡加盟夫妻店,导购就是店主本人,没受过任何销售训练;总部培训靠巡店和录播课,既覆盖不了也考核不了;顾客以为自己在跟'京东'打交道,一次糟糕的接待伤的是京东品牌。全场其他队都在做'AI替代导购',没人碰'真人导购不会卖'这个更真、更大的痛点。
AI 不可替代性①逼真扮演带情绪、带隐藏动机的顾客(嘴上嫌贵,实际担心的是安装售后),能即兴接招、会被说服也会翻脸——剧本树永远做不到;②对导购应答做开放式评估(探没探需求、有没有过度承诺、话术合不合规),只有LLM能当这个裁判;③每局自动生成复盘报告+同场景金牌话术示范,相当于给每个县城店主配一个24小时金牌销售教练。三件事全是大模型独占能力。
现场 demo现场请一位评委上台扮演导购,大屏上AI顾客(语音+弹幕气泡)开怼:'你这空调比拼多多贵400,贵在哪?'——评委接招,全场围观;三轮后AI当场亮出评分雷达图(需求挖掘/异议处理/合规性/成单推进)+逐句复盘('这句肯定没问题属于过度承诺,应该说…');最后放一段金牌导购AI打同一个刁客的示范局作对比。互动+戏剧冲突+即时揭榜,5分钟正好一局。Mock零压力:角色扮演天然不依赖任何内部数据,顾客人设库和评分rubric全部自造且完全成立——这是三个idea里唯一把'拿不到真实数据'变成非问题的方案。
京东契合嵌入京东零售线下渠道管理链路——京东家电专卖店/京东电器加盟体系的培训与认证:陪练成绩直接对接加盟商考核认证,用SaaS方式把总部话术标准下发到1.5万+下沉门店;对京东的价值=以近乎零边际成本保障下沉市场服务一致性,且陪练对话反向沉淀'真实顾客异议库',反哺总部定价、话术和培训策略。这是一条评委知道其存在、但绝想不到有队会切的B端链路。
可行性 5/5纯对话系统+prompt工程+评分报告渲染,2天出核心demo;剩余5天全用来打磨8-10个刁客人设、语音演出效果和复盘报告可视化,完成度会是三个方案里最高的。唯一风险是评委临场发挥不可控,准备一名队员当备选'导购'即可兜底。
惊艳度 4/5评委亲自下场被AI怼是天然的路演名场面,有笑点有紧张感,评分揭晓自带综艺效果;'AI训练人而不是替代人'的立意反转会让评委记住这支队。差一分到5是因为'对话+报告'的形态没有实物识别那种视觉奇观。

线下零售门店智能化offline-store

慧眼巡店官 可行惊艳 店员用手机拍一张货架照,30 秒生成缺货/价签错配/陈列违规的标注图和整改工单,整改后复拍 AI 自动复核闭环。
痛点连锁门店排面管理靠督导人肉巡店:一个督导管 10-20 家店,巡一次 1-2 小时,缺货(行业货架缺货率 5-8%,直接丢销售额)、价签错配(促销过期没撤、错贴会引发客诉甚至价格违法)、陈列走样发现严重滞后;总部的陈列标准是 PPT 和文字,到店执行完全黑盒、无法量化考核。
AI 不可替代性传统 CV 方案要给每个 SKU 采集训练数据,SKU 一上新模型就失效,中小连锁根本养不起。多模态大模型 zero-shot 就能同时做三件事:识别货架上是什么商品、读价签并做语义核对(价签写的是不是眼前这个商品?促销标注是否过期?),以及把自然语言写的陈列标准(如'端头堆头必须为当季促销品、饮料按品牌纵向陈列')直接当 prompt 做合规裁决并生成人话整改工单——陈列规则变了改 prompt 即可,不用重训模型。这条'自然语言标准直接变成检查器'的路径非大模型不可。
现场 demo现场搭一个 1 米迷你实物货架,预埋 3 类问题(一个缺货空位、一个价签错配、一个过期促销标)。请评委用手机现场拍照上传,30 秒内大屏输出:问题标注叠加图 + 问题清单 + 整改工单自动推送到'店员端'手机页面;主持人当场整改、复拍,AI 复核通过、工单关闭,演示完整闭环。侧屏常驻一个总部视角 dashboard,展示 mock 的 100 家门店巡检合规热力图与问题 Top 榜。mock 策略诚实:货架实物 + 自造门店数据,向评委明说'接入真实门店只是换数据源'。
京东契合直接嵌入京东便利店(翻牌加盟店上万家,总部对终端陈列近乎失控)、七鲜、京东电器专卖店的督导巡店链路。价值三层:督导人效从'跑店'变'看板';缺货损失回收(缺货检出可直接触发掌柜宝/京东 B2B 补货单,打通京东供货链路);加盟体系的品牌管控从抽查变全量。这是京东下沉渠道战略里真实存在、且当前靠人扛的环节。
可行性 5/5核心链路 = 拍照 → 多模态 API → 结构化 JSON → 前端标注渲染,2-3 天可以打通;剩余时间做工单闭环、复核流程和 dashboard 打磨。最大风险是 VLM 对密集小商品的识别精度,用迷你货架 + 大单品 + 控制拍摄距离即可规避,演示确定性极高。
惊艳度 3/5演示直观、闭环完整、几乎不会翻车,但'拍照识别货架'评委可能见过类似概念;加分点在实物货架现场互动和'整改-复拍-AI 复核'的全闭环,这两点能把它从'看过'拉到'这个做完了'。
AI金牌导购 可行惊艳 立在京东 MALL 里的语音数字导购:听懂'80 平客厅选什么电视',多轮澄清后给对比卡片,还能看一张顾客客厅照片改推荐,最后指路到货架或一键京东下单送到家。
痛点京东 MALL / 电器城市旗舰店周末导购忙不过来、平日导购比顾客多,人力错配严重;家电参数极复杂,新人导购背不全、水平参差,顾客最高频的场景化问题('租房买什么洗衣机''沙发离墙 3 米买多大电视')得不到专业解答,还天然怀疑导购在推提成高的型号;顾客'到店摸完真机、回家别处下单',线下体验和线上履约的链路是断的。
AI 不可替代性导购咨询是开放域多轮对话:要主动澄清预算/户型/家庭结构,要跨型号做参数推理对比,还要接住'我媳妇觉得白色好看'这种非结构化诉求——规则引擎和检索式客服做不了,只有大模型能既懂参数又会说人话且立场中立。多模态是杀手锏:顾客拍一张自家客厅照片,VLM 估算观看距离和空间尺度、直接修正推荐尺寸,'拍照即改推荐'这个环节非多模态大模型不可。
现场 demo展台一块大屏数字人 + 定向麦。评委亲自开口:'我爸妈家客厅想换个电视,别太贵'——AI 语音反问预算和观看距离,大屏弹出 2-3 款对比卡片(商品库用公开京东商品页数据自建,参数真实);评委再用手机拍一张会场角落照片,AI 当场估算尺寸、修正推荐并解释原因;最后大屏弹出门店平面图指到货架位置,扫码进下单页,演示'门店体验、京东次日送家'。5 分钟全程语音,一气呵成。降级预案:现场噪音大则切定向麦近讲 + 保留文字输入通道。
京东契合嵌入京东 MALL / 电器城市旗舰店 / 京东之家的到店转化链路:一个数字导购覆盖全品类全参数,解导购人效错配;更关键的是把'到店体验、回家下单'的流失单直接引导进京东 App 履约,让线下体验店成为线上流量入口——这正是京东全渠道(线下体验 + 京东物流履约)战略叙事的核心一环,商业故事天然成立。
可行性 3/5ASR/TTS/LLM/VLM 全是现成 API,单点都不难,难在实时语音链路的工程打磨(延迟、打断、现场噪音)要 2-3 天调稳,公开商品数据爬取清洗要 1-2 天,8 个研发够分但集成风险集中在最后两天;现场演示对网络和噪音敏感,必须彩排 + 降级预案,属于'能做出来、但翻车概率真实存在'的一档。
惊艳度 5/5评委亲自开口对话、亲自拍照看推荐当场变化,是黑客松里最强的戏剧性形态;语音若顺滑,'和货架对话'的体感会让评委当场传播。风险与惊艳同源:全押在实时语音的现场表现上。
晚市折扣官入选 可行惊艳 摄像头扫一眼生鲜堆头,AI 逐筐判定新鲜度等级,结合库存和剩余营业时间生成逐 SKU 动态降价方案,电子价签当场跳价——告别晚八点一刀切全场七折。
痛点生鲜损耗是七鲜这类业态的命门:果蔬水产损耗率行业普遍 5%-10%,直接吃掉净利。现状是晚市打折靠店员肉眼 + 拍脑袋:一刀切 8 点全场 7 折,结果好货贱卖亏毛利、坏货折了也没人要,或者不舍得折最后整筐报废;新鲜度评估依赖老师傅经验,无法标准化、无法复制到几十家店。
AI 不可替代性新鲜度是外观连续谱(香蕉的斑点面积、叶菜的萎蔫、草莓蒂部的塌陷),传统 CV 要为每个品类单独采集'腐败全过程'标注数据,成本高到做不起也没人做过全品类。VLM zero-shot 即可按自然语言标准输出分级 + 置信度 + 判断依据;再由 LLM 综合鲜度等级、当前库存、剩余营业时间、历史晚市售罄曲线(mock)做逐 SKU 定价决策,并生成给店员的人话指令('A2 筐香蕉降到 5.9 挪到入口堆头;B1 筐叶菜转加工间做沙拉')。感知、决策、指令三层都吃大模型,缺一层都退化成做不起的传统方案。
现场 demo现场摆两筐真水果(提前备好熟度差异明显的香蕉/草莓),摄像头扫过 → 大屏实时弹出每筐的鲜度分级卡片(附 AI 的判断依据原文)→ AI 输出当晚逐筐定价方案 → 桌上的电子价签(ESL 样件或平板模拟)当场跳价 → dashboard 对比'一刀切打折 vs AI 逐筐定价'两种策略下的 mock 损耗率与毛利差。真水果被 AI 当场判级、真价签当场变价,体感极强。mock 策略诚实:销售曲线和库存为自造数据,鲜度判断是真实推理。
京东契合直接嵌入七鲜/京东买菜门店的晚市运营链路:生鲜损耗率每降 1 个百分点,对生鲜业态就是净利级别的改善,ROI 一句话讲清。长期叙事:与门店电子价签/IoT 结合,打包成京东零售云的'生鲜鲜度-定价'方案对外输出给第三方商超,是 toC 降本 + toB 输出的双重商业想象空间。
可行性 4/5VLM 鲜度分级的 prompt 两天可调到演示级(且演示样品可控,选熟度差异明显的组合);定价引擎 = LLM + 简单规则,1 天;价签联动和 dashboard 前端 1-2 天,总量对 8 研发 + 2 算法绰绰有余。风险是 VLM 对边界鲜度的误判,靠控制样品 + 输出置信度话术规避,比实时语音链路可控得多。
惊艳度 4/5真水果 + 真跳价的物理演示在一屋子纯软件 demo 里辨识度极高,且生鲜损耗这个切角几乎不会撞题(大部分队会扎堆导购和巡店);差半分是因为交互戏剧性弱于评委亲自开口的语音对话。

评审全景与五强敲定

33 个候选按「一周可行性 × 现场惊艳度」铺开(悬停查看名称);三位互相独立的评委分别从演示、工程、业务视角打分,由队长综合敲定五强,并为每个入选项标注进入深度设计前必须解决的最大风险。

首选区:又稳又炸1122334455一周可行性(1-5,越右越容易做完)现场惊艳度(1-5,越上评委越兴奋)深度方案候选 idea京播智控 · 主播AI导播助理智能体产品设计 · 可行5 惊艳3一人剧组 · 主播AI导播助理智能体产品设计 · 可行3 惊艳5翻车熔断器 · 主播AI导播助理智能体产品设计 · 可行4 惊艳4采销参谋长 · 采销真自营运营体系 · 可行5 惊艳3平行京东 · 采销真自营运营体系 · 可行3 惊艳5谈判道场 · 采销真自营运营体系 · 可行4 惊艳4AI买家陪审团 · 智能导购体验创新 · 可行5 惊艳3健康红绿灯 · 智能导购体验创新 · 可行4 惊艳4切片工厂 · 直播切片AI剪辑/二创工具产品设计 · 可行5 惊艳3言出片随 · 直播切片AI剪辑/二创工具产品设计 · 可行3 惊艳5妥投管家 · AI AGENT在物流仓运配等场景应用 · 可行5 惊艳3洪峰指挥官 · AI AGENT在物流仓运配等场景应用 · 可行3 惊艳5AI药箱管家 · 健康行业AI应用 · 可行5 惊艳3康声·AI随访官 · 健康行业AI应用 · 可行3 惊艳5药箱管家 · 京东买药-产品小创新 · 可行5 惊艳3秒送守夜人 · 京东买药-产品小创新 · 可行3 惊艳5审方雷达 · 京东买药-产品小创新 · 可行4 惊艳4清单秒购 · 工业品采购数字化平台 · 可行5 惊艳3万品归一 · 工业品采购数字化平台 · 可行4 惊艳4拍板 · 未来办公AI应用探索 · 可行5 惊艳3618 战情官 · 未来办公AI应用探索 · 可行3 惊艳5随身师兄 · 未来办公AI应用探索 · 可行4 惊艳4懂行·家电AI顾问 · 线下零售AI导购 · 可行5 惊艳3鲜知道 · 线下零售AI导购 · 可行3 惊艳5刁客·导购陪练场 · 线下零售AI导购 · 可行5 惊艳4慧眼巡店官 · 线下零售门店智能化 · 可行5 惊艳3AI金牌导购 · 线下零售门店智能化 · 可行3 惊艳5一拍到家 · 智能导购体验创新 · 可行3 惊艳5切中要害 · 直播切片AI剪辑/二创工具产品设计 · 可行4 惊艳4退货判官 · AI AGENT在物流仓运配等场景应用 · 可行4 惊艳4审方雷达 · 健康行业AI应用 · 可行4 惊艳4工业慧眼 · 工业品采购数字化平台 · 可行4 惊艳5晚市折扣官 · 线下零售门店智能化 · 可行4 惊艳4一拍到家工业慧眼切中要害退货判官晚市折扣官审方雷达

图表可左右滑动查看 →

三视角独立评审

现场演示视角

黑客松现场评委:只认 5-8 分钟里现场能跑的东西,看直观度、aha moment、故事线与翻车概率。

  1. 退货判官 9 分 · 评委从筐里任选实物、甚至当场剪吊牌制造瑕疵——这是全场唯一录屏造不了假的 demo,30 秒出质检报告的节奏刚好卡进路演呼吸感;风险被'自带样品筐'锁死,翻车面几乎为零,'揪出用户谎报'再补一个惊喜拍点,现场可信度和记忆点双满。
  2. 刁客·导购陪练场 8.5 分 · 评委上台被 AI 顾客当众怼'比拼多多贵400贵在哪',有笑点有紧张感还有即时揭榜的评分雷达——自带综艺结构的 5 分钟剧本;回合制对话对延迟天然宽容、零硬件零实时链路,是全场互动型 demo 里翻车概率最低的一个,稳和炸难得兼得。
  3. 工业慧眼 8.5 分 · 从口袋掏出真接触器→拍照→'该型号已停产'→替代参数矩阵逐格点亮,'实物零件变数字商品'是不需要任何解释的魔法瞬间,演示节奏全在自己手里;唯一军规:替代库只有预制几十组,千万别嘴硬让评委自带零件来考。
  4. 一人剧组 8 分 · 主播说'看细节'画面 2 秒内自动切特写——这是全场天花板级的 aha,且评委可现场点名换台词验证,可信度无出其右;但它同时是全场最大的车祸候选:延迟压不进 2 秒、灯光网络抖一下就当众死机,敢选就必须押整整 2 天真机彩排,带着预录流上台的那一刻魔法就死了。
  5. 平行京东 8 分 · 评委当场出题→500 个消费者头像红绿点亮→点开一个'二胎宝妈'听她讲拒买理由,视觉冲击和交互开放性双炸,是评委没见过的形态;致命 QA 只有一句——'这跟掷骰子有什么区别',校准话术和一致性证据不备好,炸点会当场被拆成随机数生成器。
一票否决示例 · 洪峰指挥官:看着像王炸,实为全场最贵的动画片:AI 在自己 7 天搭的仿真沙盘里救自己注入的火,'由红转绿'的每个参数都是队伍自己调的,评委既不能出题也不能戳穿,本质与播录屏无异——这正是'PPT 很美 demo 稀烂'的大屏变体;何况仿真引擎+大屏动画+Agent 三线联调的集成风险本身就是全场前列,稳定性和可验证性双输。

工程可行性视角

带过多届校招生的技术导师:专毙 13 人新人队伍 7 天做不完的浪漫,盯依赖、工程量与联调时间。

  1. 采销参谋长 9 分 · 全链路零硬骨头:造数脚本+LLM归纳+RAG+dashboard,没有实时性、没有多模态生成、没有现场硬件,8个研发3天出核心后剩4天全是打磨窗口;唯一风险'评委任意追问'可以用预置下钻路径+限定品类兜住,是全场极少数彩排到第5天就能睡安稳觉的方案。
  2. AI买家陪审团 9 分 · 外部依赖为零的典范:评论数据公开可得、mock逼真度天然满分,技术栈就是embedding检索+LLM归纳+引用UI,2个后端2天通链路;'评委任意提问'的开放性被限定在5-10个预建SKU的语料池里,这是把开放交互收敛进可控边界的正确做法——翻车面几乎不存在。
  3. 拍板 9 分 · 整场演示的输入是自己写剧本、自己录的3分钟音频——输入100%可控意味着输出100%可彩排,这是7天黑客松工程上最聪明的自保结构;ASR转写+结构化抽取+mock IM全是成熟件,工程量估算(3天核心)甚至偏保守,风险只剩剧本写得好不好,那是产品的活不是研发的活。
  4. 慧眼巡店官 8.5 分 · 拍照→VLM→JSON→标注渲染是一周内新人最能驾驭的链路,且团队主动做了风险收敛:迷你货架+大单品+控制拍摄距离,把VLM密集小物识别这个真雷提前拆了;'整改-复拍-复核'闭环全是确定性工程,评委互动拍照也在预埋问题的货架上进行——可控性设计教科书级。
  5. 妥投管家 8.5 分 · LLM tool calling+mock工单流+React工作台,全链路自造数据闭环、零内部依赖;唯一貌似危险的'外呼对话'被处理成播放音频而非现场实时通话——这个降级选择非常清醒,把语音Agent的翻车率从20%砍到0;'自动巡航2分钟清10单'本质是跑批演示,稳。
一票否决示例 · 一人剧组:一票否决:多机位USB硬件+流式ASR+VLM抽帧+2秒端到端延迟+现场灯光网络,五个不可控变量叠乘,还主动邀请评委'点名换台词'实时验证——等于把最脆的链路暴露在最不可控的输入下。校招新人7天连延迟基线都测不完,方案自己都承认'做砸了很难看'。备预录流兜底更是自相矛盾:一旦切兜底,这个idea的全部卖点(现场实机)当场归零,比不做还难看。

京东业务视角

业务线高管:只关心是不是真痛点、内部是否撞车、京东优势有没有被用上、赢了能不能立项。

  1. 一拍到家 8.5 分 · 打的是京东基本盘(家电家具3C)里最硬的两个指标——大家电退货率和决策转化,而且'量好尺寸、看好效果、送装一体'这条闭环只有京东的履约网络接得住;内部虽有过AR试摆但效果差、基本废弃,用新一代图像编辑模型重做是真空白,赢了立项路径清晰:直接挂商详页'放我家看看'按钮。
  2. 切中要害 8.5 分 · 全场唯一回答了'切片剪出来给谁看'的队:把切片钉进商详问答区,直接踩在京东对抖音拼多多的信任壁垒(评价问答)上,还反哺下一场直播脚本形成飞轮;直播回放、评价、问答三样全是京东自有数据资产,内部切片工具都在'剪好看',没人做'剪转化',撞车风险最低,立项即能算转化率和客服成本两笔账。
  3. 退货判官 8 分 · 逆向物流质检是京东零售+物流+拍拍三方都在掏钱的真战场,而'上门取件→逆向仓→二次上架/拍拍/备件库'这条全链路只有京东一家攥在手里(闲鱼没有自营物流接不住);人工定级不标准、资金占用周期长都是真账,内部没有成熟的VLM质检产品,赢了立项就是给拍拍输送标准化货源,想象空间实在。
  4. 万品归一 8 分 · 看懂了京东工业招股书第一页——商品数字化(墨卡托)才是工业品电商的死穴,供给侧录不进来一切白搭;虽然墨卡托团队真实存在,但PDF画册到SKU的LLM原生管线正是他们缺的弹药,这不是撞车而是送炮弹,评委里若有工业条线的人会当场认账,立项即内部工具、外溢即向厂商收费的SaaS。
  5. 平行京东 8 分 · 全场把'京东数据优势'讲得最漂亮的一个:demo阶段mock persona天然合法,立项后用京东数亿真实用户画像校准仿真——这个故事只有京东能接着讲下去;自营定价试错砸的是自己的库存毛利,痛点真,内部有AB实验平台但没有生成式消费者风洞,商业想象可以一路讲到大促方案推演和智能定价。
一票否决示例 · AI买家陪审团:正面撞车最惨的一个:京东商详页已经上线AI评论总结,'京言'购物助手也在做评论问答,这不是空白是内部成熟团队的现役产品。demo再丝滑,业务评委一句'我们商详页已经有了,你和现有功能差在哪'就能当场终结,赢了也没有立项空间——毙。

队长敲定五强 + 小组追加

退货判官物流:AI AGENT在物流仓运配等场景应用
三视角零否决的最强共识项:现场演示视角全场最高分 9(评委任选实物、甚至当场剪吊牌制造瑕疵,是全场唯一录屏造不了假的 demo),业务视角 8 分(逆向物流是京东零售+物流+拍拍三方都在掏钱的真战场,且'上门取件→逆向仓→二次上架'全链路只有京东握得住,闲鱼接不了),可行性 4 分且无实时语音/图像生成等高危模块。切角刁(全场都做正向仓运配,没人碰逆向),撞题概率极低。物流线代表。
最大风险 · 开放输入下的 VLM 定级一致性:评委任选实物意味着光线、角度、冷门品类全不可控,同一件物品复拍两次给出不同等级会当场摧毁可信度。深度设计前必须固化定级 rubric、完成 30+ 样品×多光照角度的回归测试、设计拍摄引导 UI,并把'评委任选'的边界锁死在自带样品筐内。
晚市折扣官创新零售:线下零售门店智能化
全场唯一同时进入三位评委 top 榜的 idea(演示 8 / 可行性 7.5 / 业务 7.5)。真香蕉被 AI 当场判级、桌上价签当场跳价,在一屋子纯屏幕 demo 里物理辨识度最高;样品熟度可提前挑选,演示确定性接近满格;生鲜损耗切角几乎不撞题,且'损耗率每降 1 个点=七鲜净利级改善'是全场 ROI 最快讲清的一句话。创新零售线代表,与退货判官形成'感知+决策+执行'的不同交互形态(判级→定价→价签联动 vs 质检→工单)。
最大风险 · 两头都要补证据:一是 VLM 对边界熟度样本的误判——评委若自带一根半熟香蕉来考,必须有'置信度+判断依据'的输出话术兜住;二是定价引擎只靠 mock 售罄曲线支撑,被追问'凭什么信 AI 的价比店长拍脑杓好'时需要一套对照评测(一刀切 vs 逐筐定价的损耗/毛利模拟)做证据链。另外价签坚决用平板模拟,不碰 ESL 硬件采购。
审方雷达健康:健康行业AI应用
健康线最稳的一张牌:可行性 8.5(无语音、无实时、无图像生成,风险全收敛在'攒 500 张带雷 mock 处方'这种可分工的体力活上),演示视角 7.5('评委现场埋雷处方、AI 3 秒拆弹并引说明书原文举证'把演示做成挑战赛,是对抗型 demo 的最高形态之一),业务视角认可其切中处方药 GMV 扩张的法定合规瓶颈——'校招新人切供给侧合规链路'本身就是差异化记忆点,与全场扎堆 C 端形成认知反差。注意与 pharmacy-3 是同一 idea,本次以 health-ai-3 入选、pharmacy-3 出局,绝不双报。
最大风险 · 与京东健康现役规则引擎审方系统的差异化答辩:业务评委已点名'内部有团队在做',必须把'规则库只覆盖 30% 硬禁忌、LLM 补剩下 70% 语义长尾(诊断-适应症匹配、超说明书用药、多重用药叠加)'讲成有埋雷评测数字(召回/误报率)支撑的硬结论;同时 500 张 mock 处方的医学正确性需要严格校对——埋的雷本身答案错一个,专业可信度当场归零。
工业慧眼工业:工业品采购数字化平台
工业线的舞台魔法:从口袋掏出真接触器→拍照→'该型号已停产'→替代参数矩阵逐格点亮,'实物零件变数字商品'是不需要解释的 aha 瞬间(演示视角 8.5),且演示节奏完全握在自己手里。业务视角 7.5:紧急维修找件是 MRO 里客户最肯付钱的场景(停机一小时数万元的账客户自己会算),沉淀的可替代关系图谱长在墨卡托商品库上、竞对短期抄不走。技术上 VLM 识铭牌+预制替代数据+LLM 推理,无一票否决项。
最大风险 · 演示边界管理:替代关系库只预制了 30-50 组,评委若自带零件或追问覆盖面就当场穿帮——必须严守'样品自带、绝不开放评委带件'的军规,并把'预制选型手册数据+LLM 参数级推理,上线后接厂商数据源'的诚实叙事和 QA 话术在深度设计阶段写死;同时油污/反光铭牌的识别稳定性要用演示零件反复实测,备好识别缓存兜底。
切中要害零售:直播切片AI剪辑/二创工具产品设计
零售线代表、业务视角并列全场最高的 8.5 分:全场唯一回答了'切片剪出来给谁看、解决什么转化问题'的队——把'主播亲口回答疑虑的 20 秒'钉回商详问答区,直接踩在京东对抖音/拼多多的信任壁垒(评价问答)上,'直播没讲到的疑虑反哺下一场脚本'的飞轮会让懂业务的评委眼前一亮,撞车风险全场最低。技术链路(ASR+embedding 召回+LLM rerank+ffmpeg)无实时风险,可行性 4。同赛题的 clip-tool-1 被演示评委判'安全地输'(盯进度条发呆)、clip-tool-2 被可行性评委一票否决,它是该赛题风险收益比最优解,且'洞察型 demo'与前四个实物/大屏形态互补。
最大风险 · 时序定位的边界精度与素材质量是同一条命:切出的 18 秒必须真正'构成回答',切点差 3 秒答案就不成立、生硬即露馅——2 名算法要最先跑通'疑虑→片段'的检索-rerank-切点评测集;且前提是自制一场 30 分钟以上、信息密度够高、真覆盖 30+ 疑虑点的 mock 带货直播(自拍剧本要为疑虑点反向设计),这份素材的生产要排在 Day 1-2,它塌了整个 demo 无米下锅。
一拍到家零售:智能导购体验创新 · 小组追加指定
小组指定追加的智能导购赛题代表:业务视角 8.5 分(与切中要害并列全场最高档,打的是京东家电家具 3C 基本盘的大家电退货率与决策转化,「量尺寸、看效果、送装一体」闭环只有京东履约网络接得住)+惊艳度 5 的全场天花板牌——「商品以正确比例光影出现在评委自己拍的房间照片里」是不需要解释的尖叫点。它也是唯一吃过工程可行性一票否决的方案(宣传即兴性 vs 工程预制性冲突),本次深度设计全部围绕拆掉这个否决展开;与五强互补,补齐六个方案里缺失的图像生成/空间理解形态。
最大风险 · 图像编辑模型的比例/光影/遮挡稳定性 7 天内只能靠预调「房间+商品对」反复摇奖筛图保证;demo 主路径必须锁死在预调对上,现场随拍只能以明示彩蛋出现且备一键兜底——终稿把「现场随拍」改造成了空间尺寸估计+卷尺实测验证,绕开图像合成的现场翻车面。
遗珠(第一梯队替补)

刁客·导购陪练场 演示 8.5 + 可行性 8 的高分遗珠:评委上台被 AI 顾客当众怼是自带综艺结构的名场面,回合制对话对延迟天然宽容,且是唯一把'拿不到真实数据'变成非问题的方案。落选仅因创新零售名额已被更全能的晚市折扣官占用,且业务评委未对其加盟店培训链路给出背书——若入选五强中有项目在深度设计阶段暴雷,它是第一替补。

万品归一 业务视角 8 分、'看懂京东工业招股书第一页'的供给侧刁角度,200 页 PDF 几分钟变上千个可搜索商品的数量级冲击也够硬。落选因与工业慧眼同属工业线互斥,而文档解析的视觉魔法感略逊于实物拍照,且型号编制规则展开的准确率调优周期更不可控。

采销参谋长 可行性 9 分、全场最稳的'彩排到第 5 天能睡安稳觉'方案,与'真自营=每个 SKU 有采销负责'的组织叙事完全同频。落选因业务评委明示商智/数坊及内部采销 AI 助手已在推,撞车风险全场前三,且 wow 天花板 3 分——在'稳'已由其他入选项目保障的前提下,边际价值不足。

五强深度方案

以下五章,每章都是一份可直接执行的参赛方案:产品思考、MVP 砍法、技术架构、AI 设计、七日作战表、13 人分工、对抗性问答、路演脚本与风险预案。所有方案都走完了「初稿 → 三路对抗(可行性狙击手 / 评委毒舌 / 业务拷问官) → 终稿修订」流程,评审的质疑与回应原样保留,方便小组直接拿去应对真实评审现场。

01
物流:AI AGENT在物流仓运配等场景应用

退货判官

每件退货,拍三张照,一分钟判明白

为什么是它:三视角零否决的最强共识项:现场演示视角全场最高分 9(评委任选实物、甚至当场剪吊牌制造瑕疵,是全场唯一录屏造不了假的 demo),业务视角 8 分(逆向物流是京东零售+物流+拍拍三方都在掏钱的真战场,且'上门取件→逆向仓→二次上架'全链路只有京东握得住,闲鱼接不了),可行性 4 分且无实时语音/图像生成等高危模块。切角刁(全场都做正向仓运配,没人碰逆向),撞题概率极低。物流线代表。 本方案初稿经三路对抗评审 18 条质疑(高 9 / 中 7)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户京东逆向仓一线质检员(主用户)与逆向仓运营主管(看板用户)。质检员日均处理数百件跨品类退货,无法精通所有品类的验收标准;主管关心定级准确率、可再售比例和退货商品在仓滞留时长。
核心场景一件退货运抵逆向仓,质检员小张扫描退货单条码,系统拉取该 SKU 数字档案(详情页图、配件清单、在售价)和用户填写的退货原因'全新未拆'。手机 H5 引导依次拍正面、瑕疵特写、配件应在位置三张照片,上传后服务端即时校验亮度/清晰度,不合格当场重拍。三张照片并行过 VLM,大屏流式输出推理:识别为某品牌白色板鞋→鞋底检出磨损痕迹并打瑕疵定位框→与'全新未拆'的退货原因矛盾,生成'用户声明 vs 照片实证'对照表并截图留证→粗粒度客观题 checklist 逐项判定(三照片独立判定融合+双模型交叉校验)→规则引擎确定性映射为 B 级、建议流转京东拍拍、参考公开二手行情区间 62-108 元给出建议回收价 89 元。等级一分钟内先出,拍拍上架文案与仓内流转工单异步补齐;矛盾线索推送人工判责队列由小张确认——AI 呈证、人断案。全程小张只做了拍照和确认两个动作。
价值主张把逆向仓质检从'依赖老师傅经验、单件数分钟、标准因人而异'变成'新手可上岗、单件一分钟、全网一把尺'。三重收益:定级标准化提升可再售比例直接回收货值;把修/卖/废的处置路由决策前移到逆向仓收货第一站,省掉一程'运到集中质检中心才发现该报废'的无效物流并缩短资金占用;矛盾呈证把判责举证从数分钟压到一秒,减少错判客诉,并为京东拍拍输送带标准成色标签的长尾品类货源。
差异化本质对内不与拍拍质检中心/万物新生产线正面对打——它们是中心化质检仓、以 3C 为主,本方案打的是服饰鞋帽百货等尚无标准化质检管线的长尾开放品类,并把处置路由决策前移到收货第一站,是它们的前置入口和品类补位而非替代(PPT 主动放内部竞品对比页)。对外与验机类产品(闲鱼验号、爱回收质检)差异在开放品类覆盖+质检→定级→处置路由→定价→工单全链路决策+跨模态矛盾呈证。反套壳的证据不是话术而是数据:VLM 只答粗粒度客观题、等级由规则引擎确定性映射、三照片融合+双模型交叉校验保证可复现,现场可展示'同一件物品连拍 5 次的等级方差:本管线 0 档 vs VLM 直出 2-3 档'的对照数据;沉淀资产是 270+ 张带瑕疵标注/多光照多角度/含谎报标签的开放品类退货质检 benchmark,路演宣布开源。

MVP 范围(七天砍法)

做(IN SCOPE)

  • 手机 H5 拍摄链路:input capture 三步引导拍摄,服务端亮度+Laplacian 清晰度校验,不合格即时重拍(getUserMedia 实时取景列为 D3 后增量项,不进关键路径)
  • 核心质检管线:三照片并行 VLM 感知+瑕疵定位框 → 跨模态矛盾检测 → 粗粒度客观题 checklist(三照片独立判定融合+双模型交叉校验,不一致标人工复核)→ 规则引擎确定性映射等级/处置渠道/区间报价
  • 质检报告卡片(等级先出、文案工单异步补齐)+ 大屏流式推理看板(第一个 token 起直播,供路演投屏)
  • 谎报呈证案例:'声明 vs 实证'矛盾对照表 + 截图留证 + 推送人工判责队列,AI 不直接改判定结果,报告卡明示'判责需人工确认'
  • 30+ 件实物数字档案 + 分层回归集(金牌 5 件全条件 10 次复拍 100% 一致硬门禁,其余抽测出统计报告)+ 整理为可开源的'开放品类退货质检 benchmark'
  • 评委互动'破坏菜单':剪吊牌/揉外包装/贴污渍贴纸/拆封配件 4 种预验证破坏动作,每种 D1 打样测 20 次检出率、D4 起补进回归集演练

不做(OUT OF SCOPE)

  • 不接京东 WMS/拍拍/备件库真实 API:工单流转到 mock 收单页为止,方案页明示
  • 不训任何模型:不训 CV 小模型、不做 LoRA,纯 API + prompt + 规则(生产落地模型层可插拔,见 aiDesign)
  • 不做全品类:只承诺样品筐内 6 个品类,筐外物品走'无商品档案,仅输出外观质检+建议人工定级'的诚实降级
  • 不做自动判责/自动扣款:AI 只呈证留痕,判责权和退款决定权在人,另备申诉复核闭环示意
  • 不做动态定价:回收价为锚定公开二手行情中位数的区间报价(手工查表+来源截图),不爬竞对、不做竞价
  • 不做批量流水线作业、账号权限体系、多仓后台、原生 App(H5 不上架不打包)

技术架构

交互层 拍摄引导页 大屏推理看板 质检报告卡片 工单收单页 三张照片+退货原因 编排层 Agent调度器 图片质量门 双通道路由 三照融合校验 定级定价引擎 多模态推理任务 模型层 多模态感知打框 跨模态比对 双模型交叉校验 文案工单生成 检索档案与规则 数据层 SKU数字档案 定级规则库 折价区间表 回归基准集

架构图可左右滑动查看 →

  1. 扫退货单条码,拉取 SKU 数字档案与用户退货原因
  2. H5 三步引导拍照,前端压图至 500KB 内上传,服务端质量校验不合格即时重拍
  3. 三张照片并行过 VLM 感知:品类识别、瑕疵检出与定位框,温度 0 输出结构化 JSON
  4. 跨模态比对:照片 vs 商品档案 vs 退货原因,发现矛盾即生成对照表并截图留证
  5. 粗粒度客观题 checklist 判定:三照片独立判定融合 + 双模型交叉校验,不一致项标'建议人工复核'
  6. 规则引擎确定性映射:checklist → 成色等级 → 处置渠道 → 区间报价(锚定公开二手行情)
  7. 等级先出质检报告卡,上架文案与流转工单异步生成推 mock 收单页,矛盾线索推人工判责队列
  8. 全过程从第一个 token 起流式推送大屏看板

AI 设计

模型选型
  • Qwen2.5-VL(DashScope qwen-vl-max):主通道,负责感知、瑕疵 grounding 打框、跨模态比对——选它除了中文电商语境和坐标输出,还有落地伏笔:开源权重 Apache 2.0 可私有化部署,生产环境换言犀多模态或私有 Qwen 集群时管线不动
  • Gemini 2.5 Flash:第二通道,承担双模型交叉校验(低置信项仲裁,与主通道不一致即标人工复核)兼超时/限流热备切换,路由层对上层透明
  • DeepSeek-V3(文本 API):上架文案、流转工单、判责证据摘要生成,全部走异步不占等级输出关键路径
  • bge-m3(开源 embedding,本地跑):按品类检索定级规则库条款,轻量 RAG 注入 prompt
编排策略核心策略仍是'VLM 只答客观题,等级绝不让模型拍脑仁',但一致性设计整体重构以消除'温度 0 + 三次采样投票'的自相矛盾:温度 0 + JSON schema 锁死不变,同 prompt 重复采样删除,多样性来源改为两路真实存在的独立信号——(a) 三张不同角度照片各自独立判定后融合,(b) qwen-vl-max 与 Gemini 双模型交叉校验,任一信号不一致即该项置信度降级并标'建议人工复核',复拍可复现叙事因此成立。checklist 全部改造成 VLM 舒适区内的粗粒度二值/枚举题(吊牌在/不在、有/无可见磨损、包装完整/破损),'磨损分 3 级'等细粒度题移出等级映射关键路径、只作报告展示。VLM 能力 Plan B 前置到 D1:三家 VLM 打样必须产出逐题稳定性报告(每个 checklist 项复测 10 次的一致率),不稳的题当天删掉或重写;D1 收工前 go/no-go gate——随机 3 件样品各复拍 3 次等级全一致才继续,否则当晚降级为 A/非A 二分定级。延迟工程:三图感知并行调用、checklist 一次调用输出全部项(不逐项拆 36 次)、前端压图、等级先出文案异步,D3 首通当天实测 P50/P95,超 35 秒即调整对外口径为'一分钟'。回归分层验收:金牌 5 件演示样品×全条件(含破坏菜单破坏后状态)10 次复拍 100% 一致是上台硬门禁,不稳样品直接踢出演示筐不许死磕 prompt;其余 25 件抽测出统计报告,全筐 95%+ 作及格线。
Mock 数据策略诚实原则不变:实物真、规则真、判定真,mock 的只是'京东内部数据'这一层,且每处 mock 都经得起评委下钻。(1) SKU 数字档案:30+ 件实物逐件建档,用公开电商页真实详情图/参数/配件清单/在售价,字段仿京东商品中台风格(skuId/spuId/类目三级路径/属性 kv);金牌演示件的在售价 D7 早上用真实商详页刷新,当天扫码比价对得上。(2) 定级规则库:底本换成拍拍严选公开成色分级说明(京东系自家标准,评委无法否认权威性),GB/T 21667 仅作'方法论参考'一笔带过不当权威盾牌;规则库设计为品类运营可配置的热更新结构,后台配置界面截图进 PPT,用产品结构回答冷启动。(3) 折价区间表:砍掉爬虫,30 个 SKU 手工查拍拍(主锚)+转转/闲鱼(交叉验证)在售价取中位数,半天完成、每条来源可截图佐证;报价口径为'区间+锚'(如'89 元,锚定公开二手 B 级区间 62-108'附行情快照缩略图),评委比价落在区间内就是赢。(4) 大屏滚动流:只挂真实拍过、有完整照片和报告的质检记录(回归集 800+ 张照片按工单配齐),计数用真实累计——'昨日回归实测 270 件'比虚构的 187 更有说服力,任意下钻都有内容。(5) 谎报案例:预置'全新未拆'工单对应有磨损的鞋,属演示剧本设计,路演主动声明'工单为模拟数据,判定过程全真'。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D1打样过门禁,稳定题集定稿上午定内部竞品定位页(拍拍质检产线/备件库/本方案对比),据此敲定样品采购清单——金牌件只用鞋/服饰/玩具,3C 撤为备选;下午出 6 品类粗粒度 checklist v1(全部二值/枚举题);QA 题库当天开卷,第一题就是'内部已有 XX 系统'的标准答案拍摄引导页与报告卡片线框稿,大屏看板信息架构,破坏菜单卡片初稿三家 VLM 打样+逐题稳定性报告(每项复测 10 次,不稳的题当天删/重写);演示破坏专项打样:剪吊牌/揉包装/贴污渍各测 20 次检出率,>90% 才进破坏菜单;晚间 go/no-go gate:随机 3 件各复拍 3 次等级全一致才放行,否则当晚降级 A/非A 二分H5 用 input capture=environment 起步(零坑全兼容),质量校验做在服务端(亮度+Laplacian 阈值);冻结与模型无关的外层契约(报告卡结构/SSE 事件类型/错误码),感知 JSON schema 标注 D2 中午随选型定稿并预留扩展字段;每人列'第一次做'技术点清单,每项限时 2 小时 spike,跑不通立即启用降级方案
D230件建档,回归照片同步拍齐30 件样品逐件登记+退货原因剧本配对;验收 checklist 品类覆盖;调包识别样品对(同系列近似型号塞同一包装)备进筐报告卡片视觉稿定稿(成色徽章/瑕疵框叠图/处置路由图/'判责需人工确认'标识)感知 JSON schema 中午随选型定稿;比对 prompt 完成,谎报呈证首案例跑通;checklist 判定 prompt v1(一次调用输出全部项)数据组建档 30 件时把回归照片(3 光照×3 角度)顺手拍齐,D4 只跑批不拍摄;折价区间表手工查 3 平台取中位数(半天完成,来源截图佐证);后端接通 VLM 感知+打框接口;前端完成拍摄引导交互
D3端到端首通,P95延迟实测内测 10 件全链路,误判 case 反哺 rubric;当天产出单件成本卡(N 次调用×token 单价 vs 人工工时)+'人工数分钟'的公开出处(逆向仓作业报道/招聘 JD 处理量指标),即刻进 QA 弹药库不等 D7;路演脚本 v1大屏推理看板视觉稿+流式动效设计四阶段管线串联:三照并行感知、跨模态比对、三照融合+双模型交叉校验、规则映射;温度 0/schema 全锁死;当天实测 P50/P95 延迟,超 35 秒即把对外口径定为'一分钟'前端报告卡渲染+瑕疵框叠图+压图 500KB;后端规则引擎(checklist→等级→渠道→区间报价)+等级先出/文案异步解耦;数据组开始配真实质检记录滚动流
D4金牌样品复拍全一致达标组织分层回归:金牌 5 件×全条件 10 次复拍 100% 一致为硬门禁,其余 25 件抽 1-2 条件出统计报告;不稳样品直接踢出演示筐,不许死磕 promptPPT 视觉框架+demo 动线图+工单收单页样式+申诉复核闭环示意图跑批回归(照片 D2 已拍齐,今天只跑不拍);破坏菜单破坏后状态补进回归集,即兴 case 演练从今天开始(不等 D6);不一致 case 归因、收紧措辞、标定人工复核置信度线前端大屏流式直播;后端文案/工单接 DeepSeek 异步链路;数据组回归跑批工具+结果报表,滚动流只挂真实质检记录
D5功能冻结,逐秒稿实测通过逐秒稿 v2 当天卡秒表实测(非纸面推演);筛选 3 件金牌+2 件备份全部预跑;谎报案例的预拍照片流程演练全界面视觉走查收尾,路演 PPT 初稿(含内部竞品对比页、合规页、数据边界页)调包识别件验证:VLM 分得出近似型号就作为第三拍点上台,分不出就当天把对外宣传降级为'退货原因矛盾检测'并删详情页比对说法;双通道切换演练;封 prompt 禁改全组联调压测:弱网重试、超时降级、错误态兜底、演示模式开关(主持人可强制过质量门);今日 18 点 feature freeze
D6两轮带妆彩排通过主持带妆彩排×2(含破坏菜单桥段实演),卡秒表修脚本PPT 定稿;彩排录屏剪三级兜底备份视频冻结版本全量回归复测;把 270+ 张回归集整理成可开源的'开放品类退货质检 benchmark'包(瑕疵标注+光照角度+谎报标签)只修彩排暴露的 bug 不加功能;部署双环境(主+备笔记本);4G 热点/备用 key 切换演练
D7会场实测通过,兜底演练完毕终版路演卡点彩排×2;QA 题库终审(内部系统/数据出域合规/消保误伤/成本/落地冷启动)现场物料:破坏菜单卡片、样品筐标签、桌卡、大屏待机页会场光线/网络实测全筐过一遍;金牌件档案在售价早间用真实商详页刷新;微调拍摄引导提示封版;三级兜底(切备模型→切热点→放录屏)各演练一次;设备电量/支架/补光灯检查清单过一遍

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计组1 人
算法组2 人
前端组(研发)3 人
后端组(研发)3 人
数据组(研发)2 人
产品组:1 人主 owner 定级 rubric/处置规则/区间定价逻辑,组织分层回归与破坏菜单验证;1 人主 owner 路演叙事/逐秒稿/样品筐/评委动线,QA 题库 D1 开卷(内部竞品、合规、成本三大题先备)并逐日滚动
设计组:拍摄引导 UI、质检报告卡片、大屏看板视觉与动效、破坏菜单卡片、申诉复核示意图、路演 PPT、现场物料,全程跟彩排调视觉节奏
算法组:1 人主 owner 感知/比对/打框 prompt、双模型路由与逐题稳定性报告;1 人主 owner checklist 判定、三照片融合与双模型交叉校验、分层回归调优、置信度兜底与 benchmark 包整理
前端组(研发):1 人手机 H5 拍摄(input capture 起步、实时取景为增量项)+压图上传;1 人大屏流式推理看板;1 人报告卡片/瑕疵框叠图/工单收单页/演示模式开关
后端组(研发):1 人 Agent 调度器+双通道路由+SSE 流式推送;1 人规则引擎(checklist 映射/区间定价查表)+文案工单异步服务;1 人 API 网关/服务端图片质量门/双环境部署
数据组(研发):SKU 数字档案建库(建档时同步拍齐回归照片)、手工查价折价区间表(来源截图佐证)、真实质检记录滚动流、回归跑批工具与报表

对抗性问答(评审攻防实录)

D4 是必然爆炸日:270 组回归纯拍摄就要 13 小时、单轮近 1900 次 VLM 调用,而前提是 D3 才'首次跑通';95% 门槛没有任何 D1 baseline 支撑,纯拍脑袋。校招新人全链路首通经验值是 4-5 天,D3 滑半天,D4 崩、D5 冻结顺延,最后牺牲的恰是路演排练。
方案改了四处:① 回归照片拍摄提前到 D2 与建档合并(建档拍照时顺手拍齐 3 光照×3 角度),D4 只跑批不拍摄,13 小时拍摄从 D4 日程里消失;② 回归分层——金牌 5 件×全条件 10 次复拍 100% 一致是上台硬门禁,其余 25 件抽 1-2 条件出统计报告,调用量降一个数量级;③ 达标逻辑反转:不稳的样品直接踢出演示筐,不许死磕 prompt;④ D1 收工前加 go/no-go gate(随机 3 件各复拍 3 次等级全一致才放行,否则当晚降级 A/非A 二分定级),95% 不再是无 baseline 的拍脑袋数字,而是 D1 实测放行后的运营目标。
aiDesign 的核心卖点自相矛盾:'温度 0 + JSON schema 强约束'和'独立采样 3 次自一致性投票'不能同时成立——温度 0 下三次输出几乎相同,投票纯烧 3 倍 token;要投票有意义就得升温,升温又打脸'复拍可复现'。评委一句'温度 0 你投什么票?'就把 risks 引以为傲的'架构层面根治'问穿。且整个方案没有'VLM 能力本身不达标'的 Plan B。
承认原设计站不住,已整体替换:同 prompt 三次采样删除,多样性来源改为两路真实存在的独立信号——三张不同角度照片各自独立判定后融合,加 qwen-vl-max 与 Gemini 双模型交叉校验,任一不一致即标'建议人工复核';温度 0 保持,复现叙事成立且答得上'多样性从哪来'。checklist 全部改成粗粒度二值/枚举题,'磨损分 3 级'等细粒度题移出等级映射关键路径只作展示。Plan B 前置到 D1:三家 VLM 打样必须产出逐题稳定性报告(每项复测 10 次),不稳的题当天删/重写,加 go/no-go gate 兜底降级路径——雷在 D1 排掉,不留到 D4。
aha moment 是自设的分布外赌博:回归集测的是静态物品复拍,评委当场剪吊牌制造的是从未测过的新状态,'剪吊牌'本质是缺失检测——VLM 判断'不存在的东西'恰是它最不稳的能力;吊牌剪了,引导第三步'拍吊牌合影'拍什么?95% 一致率跑三次全链路至少一次出岔概率约 14%,复拍环节还是你们自己写进剧本的。D6 才演练 10 组即兴 case,距路演不到 48 小时才第一次碰最关键桥段。
把赌博改成埋好的必胜局:① '任意破坏'收窄为'破坏菜单'卡片——剪吊牌/揉外包装/贴污渍贴纸/拆封配件 4 种预设动作,D1 打样各测 20 次检出率、>90% 才上菜单,破坏后状态 D4 补进回归集,即兴演练从 D6 提前到 D4;② 拍摄引导对缺失场景改为'拍配件应在位置',prompt 显式'对照配件清单逐项确认可见性,未见即报缺失'+few-shot;③ 出岔概率的数学账用门禁拆掉:现场实测收敛到全场一次(评委出题那次),谎报案例改用预置工单+开场前实拍并透明声明,复拍环节默认不做、改示回归报表,评委主动要求才复拍且用 10 次复拍 100% 一致的验证件——三次全链路赌博变成一次预验证实测。
'30 秒'写进 tagline 和卡秒稿,但串行管线+会场网络下端到端 P95 轻松 45-90 秒,risks 里自己都写了'即便慢到 45 秒',说明心里没底,对外口径却仍是 30 秒——评委掐表就是当众打脸。demo 时序在物理上也不成立:135 秒装不下评委走动+剪吊牌+拍照+可能的重拍+推理+读报告。
口径认怂、工程狠压:tagline 已改'一分钟判明白'——宁可承诺松、兑现狠;延迟四刀:三图并行感知、checklist 12 项一次调用输出(非逐项 36 次)、前端压图 500KB、等级先出文案异步;D3 首通当天实测 P50/P95 定最终口径,台词不报绝对秒数,大屏从第一个 token 起流式直播把等待变成内容。时序重排:互动环节扩到 1:30-3:30 共 120 秒且只含一次实测,谎报案例用开场前实拍照片省去第二次现场拍摄,拍摄引导加'演示模式'开关防会场灯光卡质量门,逐秒稿 D5 卡秒表实测而非纸面推演。
mock 埋了会被随手引爆的雷:'今日已质检 187 件'滚动栏经不起下钻,点开第 150 件是没照片的空壳工单,诚信叙事瞬间清零;'评委当场比价也对得上'是不必要的硬承诺——三家平台都有反爬、二手价天然波动 30%+;拿 GB/T 21667 背书更是名不副实,该国标是通则,根本不含服饰鞋帽逐项成色 checklist,懂行评委一核对反伤诚信分。
三颗雷全拆:① 滚动流只挂真实拍过、有完整照片和报告的质检记录(回归集 800+ 张按工单配齐),计数改真实累计'昨日回归实测 270 件',任意下钻都有内容;② 爬虫全砍,30 个 SKU 手工查拍拍(主锚)+转转/闲鱼(交叉验证)取中位数,半天完成、每条来源截图佐证,报价改'区间+锚'口径('89 元,锚定公开二手 B 级区间 62-108'附行情快照)——评委比价落在区间内就是赢,精确命中反而可疑;③ 规则底本换成拍拍严选公开成色分级说明(京东系自家标准),GB/T 降为'方法论参考'一笔带过;金牌件档案在售价 D7 早上用真实商详页刷新。
teamAllocation 把最陌生的技术全压给校招新人且 D1 就要出活:H5 拍照要过 iOS Safari 的 getUserMedia/HTTPS/证书三连坑,'实时光线校验'是端侧图像质量检测,SSE+双通道路由对新人后端也是首次。更硬的矛盾在自己身上:说'D1 冻结感知 JSON schema',可算法组 D1 才开始 VLM 打样——模型没选定 schema 怎么冻结?这契约必然 D2-D3 返工,恰好复现你们想避免的'联调才发现裂缝'。
全部落进 D1 计划:① H5 拍照改用 input type=file capture=environment 起步(零坑全兼容),getUserMedia 实时取景降为 D3 后增量项;'实时校验'降级为上传后服务端亮度+Laplacian 阈值检查;② 契约拆两段冻结——D1 只冻与模型无关的外层契约(报告卡数据结构、SSE 事件类型、错误码),感知 schema 显式标注'D2 中午随选型定稿'并预留扩展字段,前后端 D1 基于外层契约+mock server 并行不互等,不存在假冻结返工;③ D1 每人列'第一次做'技术点清单,每项限时 2 小时 spike,跑不通立即启用降级方案,不允许未验证技术带进 D2。
评委就是京东员工:拍拍自 2019 年起由万物新生(京东是最大股东)运营,有成熟自动化质检产线;京东自营另有备件库体系——你们 outOfScope 里自己都写了。评委一句'拍拍质检中心一天定级几万件,你这个 7 天 demo 比万物新生的产线强在哪?'就能问死,而 demoScript 还主动讲'只有京东握有这条链路闭环',往枪口上撞。
定位整体重写并做成 PPT 主动亮牌页:内部竞品对比(拍拍质检产线/备件库/本方案)——它们是中心化质检仓、以 3C 为主,我们打服饰鞋帽百货等无标准化质检管线的长尾品类,并把修/卖/废路由决策前移到逆向仓收货第一站,省一程'运到集中质检仓才发现该报废'的无效物流;口径钉死'前置入口+品类补位,不是替代'。执行上 D1 即定(因为改变样品采购清单):金牌演示件只用鞋/服饰/玩具,3C 全部撤为备选;QA 题库第一题就是'内部已有 XX 系统'的标准答案——承认存在、指出品类缝隙、强调矛盾呈证是质检产线没有的增量。
'跨模态三方比对'是 PPT 功能:唯一谎报案例只用到照片+退货原因两方,SKU 档案那一路全场不产出任何可验证判定;真正需要三方比对、京东逆向最痛的调包退货(高仿/低配/空盒骗保)一个 case 都没做——评委追问'调包能发现吗',答'理论上能'比不做还减分。另外'VLM 只答客观题+规则映射'就是 2026 年 structured output+查表的标配范式,没训一个模型、没沉淀一份独有数据,扒掉工程壳创新性栏目确实薄。
两条都改成有实物支撑的开关:① D2 建档时备进'调包识别样品对'(同系列近似型号塞同一包装),D5 验证——分得出就作为第三拍点展示'档案标称 XX、实拍特征指向 YY'对照表,让三方比对名副其实;分不出就当天把对外宣传降级为'退货原因矛盾检测'、删掉详情页比对说法,绝不吹没演示的能力。② 创新资产补了一个带得走的:D4 回归顺手产出、D6 整理成'开放品类退货质检 benchmark'(270+ 张带瑕疵标注/多光照多角度/谎报标签)路演宣布开源——从'做了个 demo'升维成'建立了这个问题的第一个评测基准';打稻草人的对照实验改为数据说话:同一件物品连拍 5 次的等级方差(本管线 0 档 vs VLM 直出 2-3 档),现场可复现;'品类冷启动'(读详情页自动草拟 checklist)备作规模化 QA 答案。
两条合规红线一条没接:其一,主力模型是阿里云 DashScope、热备是 Google Gemini,商业故事却是把京东商品档案+用户退货照片(PIPL 约束的个人信息)发给竞对公有云,通篇没出现'言犀'或'私有化'四个字,评委一句'所以你们打算把京东逆向仓数据发给阿里云?'商业想象当场塌掉。其二,谎报识别让 AI 自动'降档、截图留证、生成判责建议'直接动消费者退款金额,试穿痕迹与'全新未拆'并不必然构成谎报,'它不只会验货还会断案'的台词是往消保法枪口上送——误伤率多少、申诉链路在哪,方案里一个字都没有。
双雷都已落进方案而非嘴上应付:① 加'demo 选型 vs 落地选型'双轨叙事——PPT 合规页明写黑客松受资源约束用公有云 API,生产模型层可插拔:替换京东言犀多模态,或私有化部署 Qwen2.5-VL 开源权重(Apache 2.0,这正是 demo 选 Qwen 系打样的伏笔),现成的双通道路由架构本身就是'换模型不动管线'的活证据;照片留存周期、判责截图的个人信息处理一并写进合规页。② '断案'整体降级为'呈证':产出物从'自动降档+判责建议'改为'矛盾线索对照表+证据留存,推送人工判责队列,AI 不直接改判定结果',报告卡明示'判责需人工确认',台词改为'它不替人断案,它帮质检员把断案的证据一秒摆齐',另备 30 秒申诉复核闭环示意图——判责权在人、举证效率在 AI,拍点保留、拷问免疫。
'算一笔账'是空心的:拿不到京东退货率、可再售比例、滞留天数任何真实基数,'每提升 1 个百分点'的乘数从哪来?'人工单件数分钟'无出处——真实瓶颈可能在拆包上架等物理动作而非判定环节,痛点数字被戳穿一个,商业叙事可信度连坐;单件 API 成本几毛还是几块对比人工省不省,QA 拖到 D7 才备太晚。
全部换成可验证锚点+敏感性分析:盘子用国家邮政局/行研公开的电商退货规模区间;收益页做成'可再售比例每提升 0.5/1/2 个百分点对应货值回收区间'的敏感性表格,明说'内部基线数据需试点后校准'——诚实反而免疫追问;'人工数分钟'找逆向仓作业公开报道/招聘 JD 处理量指标做出处,同时 valueProp 把提效叙事从单纯'判定快'扩到'路由决策前移省一程物流+举证从数分钟到一秒',不把宝全押在判定耗时一个数字上;单件成本卡(N 次调用×token 单价 vs 人工工时)提前到 D3 首通当天产出、即刻进 QA 弹药库。另拆掉连带雷:'A 级二次上架'措辞改为'按平台规则流转官方渠道(拍拍严选非全新/官方翻新)',备好'AI 留证让退转售全程可追溯、保护消费者知情权'的正面口径。

路演脚本(5-8 分钟)

  1. 0:00-0:45痛点开场:一张逆向仓实拍图+公开锚点数字——用国家邮政局/行研公开区间讲电商退货规模盘子,人工定级耗时引用逆向仓作业公开报道出处,错判两头亏(该卖的报废、该废的流出去变客诉)。一句话点题:正向物流大家都在卷,逆向质检还停留在肉眼时代。
  2. 0:45-1:30定位一页图:主动亮内部竞品对比(拍拍质检产线/备件库/本方案)——'3C 已被质检中心做透,我们打服饰鞋帽百货长尾品类,把修/卖/废路由决策前移到逆向仓收货第一站,是前置入口和品类补位,不是替代';落地双轨一句带过:demo 受限用公有云 API,生产模型层可插拔换言犀或私有化 Qwen。预告:接下来不放录屏,请评委按菜单出题。
  3. 1:30-3:30【aha moment:现场随机考,全场唯一现场实测】递给评委破坏菜单卡(剪吊牌/揉外包装/贴污渍贴纸/拆封配件,全部 D4 起各演练 20+ 次),评委从样品筐任选一件+任选破坏动作。主持人手机按引导拍 3 张(演示模式兜底防会场灯光卡质量门),大屏从第一个 token 起流式直播:识别品类→瑕疵定位框逐个亮起(含评委刚制造的破坏被当场检出)→checklist 逐项勾选→等级先出报告卡:成色 B 级、流转拍拍、'建议回收价 89 元,锚定公开二手 B 级区间 62-108'附行情快照。台词不报绝对秒数,评委亲手制造的瑕疵被当场揪出,没法质疑是排练的。
  4. 3:30-4:30第二拍点【谎报呈证】:扫一张退货原因'全新未拆'的预置工单,展示开场前 30 分钟当场实拍的对应鞋子照片(透明声明'为控时长,此件为开场前实拍')——大屏并排'用户声明 vs 照片实证'矛盾对照表,截图留证、推送人工判责队列,报告卡明示'判责需人工确认'。台词:'它不替人断案,它帮质检员把断案的证据一秒摆齐。'附 30 秒申诉复核闭环示意,误判有救济。
  5. 4:30-5:15可信度证明:展示回归报表——金牌演示件 10 次复拍 100% 同级、全筐 95%+ 一致率;对照数据'同一件物品连拍 5 次等级方差:本管线 0 档 vs VLM 直出 2-3 档',用数据而非话术反套壳(评委若主动要求复拍,当场用已验证 100% 稳定件复拍)。宣布开源'开放品类退货质检 benchmark'(270+ 张带瑕疵标注/多光照/谎报标签)。20 秒数据边界诚实声明:实物真、判定真、规则以拍拍严选成色标准为底本、SKU 档案与工单为仿真、报价锚公开行情。
  6. 5:15-6:15商业与落地:区间敏感性表——可再售比例每提升 0.5/1/2 个百分点对应的货值回收区间(公开退货规模锚点,明说'内部基线待试点校准');单件 API 成本卡 vs 人工工时。三步落地:逆向仓试点辅助质检→质检员复核闭环积累标注→反哺拍拍标准化货源引擎;合规页:生产替换言犀/私有化 Qwen、照片留存周期、判责人工确认;冷启动:规则库为品类运营可配置热更新结构(后台截图),并预告'读详情页自动草拟新品类 checklist'的规模化路径。
  7. 6:15-7:00收尾:一句话回顾'拍三张照,一分钟判明白';团队一页;把手机和破坏菜单递给评委席——'剩下的时间,欢迎各位继续出题'。

风险与预案

翻车点预案
复拍不一致当场翻车:同一件物品评委要求再测一次,给出不同等级,可信度瞬间归零架构层面根治且多样性来源真实:温度 0 锁死,一致性靠三照片独立判定融合+双模型交叉校验(不是同 prompt 重复采样),不一致即标'建议人工复核'而非硬猜;checklist 全部粗粒度客观题,细粒度分级不进映射关键路径;D1 go/no-go gate 不过当晚降级 A/非A 二分;金牌演示件设 10 次复拍 100% 一致上台门禁,不稳样品踢出筐;复拍环节默认展示回归报表,评委主动要求才现场复拍且用已验证件
现场网络差或 API 限流/超时,出结果太慢路演节奏崩掉先压延迟:三图并行感知、checklist 一次调用输出全部项、前端压图 500KB、等级先出文案异步,D3 实测 P95 定对外口径(tagline 已改'一分钟',宁可承诺松兑现狠);台词不报绝对秒数,大屏流式直播消化等待感;三级兜底逐级降级:双模型热备自动切换(各备双 key)→自带 4G 热点(D6/D7 各演练一次)→金牌件彩排录屏(如实告知'网络故障,播放昨日彩排实录')
评委'越狱':坚持测筐外自带物品,或破坏动作超出预演范围破坏收窄为'破坏菜单'卡片:4 种预设动作 D1 打样各测 20 次检出率、>90% 才上菜单,破坏后状态 D4 补进回归集;配件缺失场景拍摄引导改为'拍配件应在位置',prompt 显式'对照配件清单逐项确认可见性,未见即报缺失'+few-shot;筐外物品不硬顶——未建档 SKU 走'无商品档案,仅外观质检+建议人工定级'诚实降级,当场解释这正是生产环境兜底设计
京东评委双连问:'拍拍质检中心和备件库早就在做,你们强在哪?''所以你们要把京东数据发给阿里云?'——内部撞车+合规红线,任一答砸商业叙事全塌两题都从被动挨问改成主动亮牌:PPT 定位页写明'中心化质检仓做透了 3C,我们打长尾品类+处置决策前移+判责呈证,是前置入口不是替代',金牌演示件避开 3C;合规页写明 demo 用公有云是黑客松资源约束,生产模型层可插拔——换言犀或私有化部署 Qwen2.5-VL 开源权重(选 Qwen 打样正是伏笔),双通道路由架构就是'换模型不动管线'的活证据;谎报功能降级为'AI 呈证、人判责'+申诉复核闭环,免疫消保拷问;QA 题库 D1 开卷、D3 起随成本卡滚动补齐
7 天工期蔓延:8 个校招新人并行开发,D3 首通滑期或 D6 联调才发现裂缝,牺牲的恰是彩排契约拆两段冻结:D1 只冻与模型无关的外层契约,感知 schema D2 中午随选型定稿并预留扩展字段,避免假冻结返工;所有'第一次做'技术点 D1 限时 2 小时 spike,跑不通立即降级(H5 拍照 input capture 起步、质量校验放服务端);回归照片 D2 与建档合并拍齐,D4 只跑批;每日 17:00 站会按里程碑验收,延迟一天触发砍需求(砍单优先级:调包识别件→工单收单页→滚动流);D5 18 点硬性 feature freeze
02
创新零售:线下零售门店智能化

晚市折扣官

每一筐生鲜,都值得一个聪明的价格

为什么是它:全场唯一同时进入三位评委 top 榜的 idea(演示 8 / 可行性 7.5 / 业务 7.5)。真香蕉被 AI 当场判级、桌上价签当场跳价,在一屋子纯屏幕 demo 里物理辨识度最高;样品熟度可提前挑选,演示确定性接近满格;生鲜损耗切角几乎不撞题,且'损耗率每降 1 个点=七鲜净利级改善'是全场 ROI 最快讲清的一句话。创新零售线代表,与退货判官形成'感知+决策+执行'的不同交互形态(判级→定价→价签联动 vs 质检→工单)。 本方案初稿经三路对抗评审 18 条质疑(高 11 / 中 6)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户直接用户:七鲜/京东买菜门店的店长与生鲜课长——每天晚市要在 30 分钟内对上百个生鲜 SKU 做处置决策的人。决策用户:总部生鲜运营负责人,关心几十家店的损耗率、毛利与食安合规能否标准化管控,而不是依赖每家店老师傅的手感。
核心场景晚 19:30,七鲜某店生鲜课长老王打开'晚市折扣官':①用平板(固定机位+补光)对水果堆头整面扫一遍,2 分钟内全部筐位判级完成——每筐弹出鲜度卡片:'A2 筐香蕉:C 级(斑点面积约 35%、果柄发黑),双模型判级一致';②系统按'逐筐判级、分档归堆、按档定价、拆码结算'输出行动清单:A 级两筐守价原位;C 级三筐归并到入口折扣堆头,统一 5.9 元/kg,自动生成折扣专用 PLU 码与带划线基准价的价签(demo 中平板模拟跳价);一筐叶菜判 D(大面积腐叶渗液),强制下架报废,系统自动生成报废登记+影像留痕;③仅 2 个双模型分歧的'待复核'筐弹出人工确认,老王现场翻筐定夺——他从几百次拍脑袋变成处理个位数异常;④店员按人话指令卡执行归堆、换签、报废;⑤次日晨会看板:昨晚损耗率 3.4%、对比'现行分时阶梯折扣'策略模拟值 4.9%,毛利多留 150-450 元区间,报废证据链全程可溯。
价值主张生鲜损耗率行业普遍 5%-10%,每降 1 个百分点对生鲜业态就是净利级别的改善。现有分时阶梯折扣只看时间和库存,看不见每一筐货的真实状态:好货跟着坏货一起折价亏毛利,真坏的货折了也没人买最后整筐报废,更坏的场景是一线为压损耗指标把坏货流入加工间。本产品补上'视觉鲜度'这个缺失的输入变量:好货守住价、临期货归折扣堆精准清、坏货第一时间强制报废并留下可追溯的食安证据链,同时把无法复制的老师傅经验变成可复制到几十家店的标准化能力——AI 把 100 筐都看一眼,让老师傅只需要翻 10 筐:省的是 90% 的'看',不是 100% 的'验'。
差异化本质与京东内部现有能力的区别(主动承认再讲增量):七鲜已有电子价签和晚市分时阶梯折扣,但现有系统看得见时间和库存,看不见货的脸——同一时刻金黄的香蕉和长斑的香蕉打同一个折;我们补的是'视觉鲜度'这个输入变量,是现有定价链路的感知层插件而非替代品。与'套壳大模型'的区别:我们刻意不用大模型定价——门店要确定性,规则引擎才是对的工程选择;大模型用在它不可替代的两端:看得懂货(VLM 判级,通用助手只会说'香蕉较熟建议尽快食用')、说得清理由(给店员的人话指令与判级依据陈述),demo 里有 30 秒同屏对比自证'通用助手 vs 生产系统'。与传统 CV 的区别:为全品类采集'腐败全过程'标注数据成本高到没人做过,VLM 按自然语言评分卡 zero-shot 分级且输出人类可读依据,品类扩展只需半天写一张评分卡。与 Wasteless 类动态定价的区别:它们只看保质期标签做时间衰减,散装果蔬根本没有效期标签,只有视觉鲜度这条路走得通。

MVP 范围(七天砍法)

做(IN SCOPE)

  • VLM 逐筐鲜度判级:香蕉+番茄 2 个主演品类(叶菜仅保留'判 D 强制报废'一个镜头),输出 A-D 等级+判断依据原文;双模型独立判级,一致即出结果、分歧转'待复核',全程不展示任何数值置信度
  • 分档归堆定价引擎:规则引擎决定价格与处置(确定性),LLM 生成店员人话指令;C 级归折扣堆头换折扣专用 PLU 码、价签带划线基准价;D 级强制报废并生成报废登记+影像留痕
  • 平板模拟电子价签:折扣码生成动画+WebSocket 推送当场跳价,坚决不采购 ESL 硬件
  • 三策略对照评测沙盘:一刀切七折 / 分时阶梯折扣(近似七鲜现行,D1 门店实探校准)/ 逐筐分档,附弹性系数全区间敏感性分析,结论只报区间不报点估计
  • 真实证据链:判级结果与 2-3 位生鲜从业者盲标 100 张图的一致率报告——真实推理、真实标注、可现场复算
  • 现场演示物料与一致性保障:固定机位+补光灯+熟度梯度香蕉篮(受控考场)+同筐判级会话锁定(重复扫描强制返回首次结果)

不做(OUT OF SCOPE)

  • 真实 ESL 电子价签硬件的采购与协议对接(7 天内任何需要下单发货的硬件都是排期雷)
  • 全品类覆盖——只证明方法在 2 个品类+1 个报废镜头成立,路演口径讲'一张评分卡半天即扩一个品类'
  • 与真实库存/POS/会员系统对接——全部用自造数据闭环,看板明确标注'模拟数据'
  • 自训练/微调 CV 模型与本地 7B 兜底部署——判级全走 VLM zero-shot;断网兜底收敛为双 4G 路由+明示降级缓存+录屏三层,不维护第二套推理口径
  • 多门店管理后台、权限体系、店员 App——demo 只演一家店一个晚市
  • 数值置信度与真实需求预测训练——不确定性用双模型分歧表达,售罄曲线用参数化仿真并诚实声明

技术架构

现场交互层 堆头拍摄端 判级大屏 价签平板墙 店员指令卡 评测沙盘看板 按筐照片并行上传 智能编排层 拍摄触发器 分档归堆引擎 护栏规则引擎 价签推送网关 证据链留痕 照片与评分卡 模型推理层 VLM鲜度判级 双模型仲裁 指令话术生成 结构化判级结果 数据仿真层 模拟库存库 售罄曲线仿真器 蒙特卡洛沙盘 盲标一致率库

架构图可左右滑动查看 →

  1. 平板/固定机位扫过堆头,按筐切分照片(压缩至 768px)并携带筐位编号并行上传;同一筐位 N 分钟内重复扫描由会话锁定直接返回首次结果
  2. Qwen-VL-Max 与 GPT-4o 双路独立判级,按评分卡输出结构化 JSON(等级+判断依据+关键视觉特征),判断依据向大屏流式逐字推送
  3. 双模型等级一致即定级;分歧则标'边界样本,待人工复核'进人工队列,并排展示两模型各自判断依据
  4. 分档归堆引擎按 SKU×鲜度档位拉取模拟库存、成本价、剩余营业时间与售罄曲线,规则引擎产出方案:A/B 守价、C 级归折扣堆头+折扣 PLU 码、D 级强制报废
  5. LLM 仅生成店员人话指令与理由陈述,护栏校验(售价≥成本×0.9、折扣走阶梯、D 级禁止出现在任何售卖或加工指令中),越界回退规则默认值
  6. 价签推送网关经 WebSocket 推送折扣堆价签跳价(带划线基准价)与折扣码生成动画;D 级同步生成报废登记+影像留痕
  7. 判级依据、归堆理由、报废记录全量写入证据链,大屏可点开任意一筐溯源;评测沙盘刷新三策略对比与弹性敏感性分析区间

AI 设计

模型选型
  • Qwen-VL-Max(DashScope 多模态 API)——鲜度判级主模型,中文判断依据输出自然
  • GPT-4o(多模态 API)——第二路独立判级,与主模型做一致性仲裁:等级一致即出结果,分歧转人工复核
  • DeepSeek-V3 / Qwen-Max(文本 API)——店员人话指令与判级理由陈述生成(价格与处置由规则引擎决定,不交给 LLM)
编排策略判级层:把'老师傅经验'写成自然语言评分卡 rubric(如香蕉:A 级=通体黄少量青、B 级=零星褐斑<10%、C 级=斑点 10-40%、D 级=大面积发黑/破损渗液),配每品类 4 张 few-shot 锚点图,强制输出结构化 JSON——评分卡不是新人拍脑袋:D2 请 2-3 位生鲜从业者(课长/水果店主)对 30 张样例图盲标校准,路演可报'与一线从业者判级一致率'。不确定性表达:彻底弃用 VLM 自报的数值置信度(verbalized confidence 不可复现),改用客观信号——双模型独立判级,一致=确定,分歧=待人工复核并排展示双方依据,UI 只有 A-D 等级+确定/待复核两态。一致性保障:同筐会话锁定,重复扫描强制返回首次结果(话术'复检确认,等级不变')。定价层:刻意不用大模型——门店要确定性,规则引擎按 SKU×鲜度档位查表定档(折扣阶梯先验取自 D1 实拍的真实门店晚市折扣结构),LLM 只做人话指令和理由陈述,护栏强制'售价≥成本×0.9、D 级禁止出现在任何售卖或加工指令中'。工程指标:单筐判级 p95 延迟从 D2 起与准确率同级纳入每日回归(压图/并行/连接预热),判断依据流式输出把等待时间变成'AI 正在陈述理由'的内容时间。证据链:判级依据、归堆理由、报废登记全程留痕可溯源。
Mock 数据策略四层造数原则——结构真、参数真、随机性真、先验真:①SKU 与价格带:从七鲜线上门店页面抄真实 SKU 名称、规格与价格带,库存快照按'晚市典型剩余 30-60%'分布生成;折扣阶梯与晚市操作先验直接取自 D1 产品组去线下门店蹲一个完整晚市的实拍记录,评委问'你们看过门店怎么做的吗'有照片答。②售罄曲线:带价格弹性的指数需求模型,弹性系数取生鲜零售公开研究区间(-1.5 至 -3.5 按品类差异化),叠加时段因子与 ±15% 噪声。③三策略对照沙盘:同一份初始库存跑蒙特卡洛,对比'一刀切七折'/'分时阶梯折扣(近似七鲜现行)'/'逐筐分档'三条策略线——敢跟最强人类基线比;弹性系数全区间扫描的敏感性分析页常驻看板,证明'结论方向不随参数翻转';结论只报区间(单店单晚 +150~450 元),宁小勿假,绝不出'+412 元'式伪精确点估计。④诚实定位:仿真明确降格为'评测沙盘'——路演逐字稿明说'这页证明的是评测方法论,上线后同一框架接真实 POS 跑 A/B 才是效果证明';真实证据主轴是从业者盲标 100 张图的判级一致率(真实推理、真实标注、可现场复算);看板角标注明'销售与库存为模拟数据,鲜度判级为真实推理'。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D1门店实探+端到端最小穿越兵分两路:队长去七鲜门店蹲一个完整晚市,实拍现行电子价签、分时阶梯折扣与散称 PLU 称重流程,约访 1-2 位生鲜课长/水果店主;PM 冻结 MVP 范围清单(含 P1 可弃项:溯源弹层等),按评审维度写路演故事线 v1产出判级大屏+折扣堆价签+评测沙盘三块界面的线框与视觉方向(折扣码生成与跳价动画是重点)选型跑通:同一组测试图打 Qwen-VL-Max / GPT-4o 对比判级稳定性;定结构化输出 schema 与双模型一致性仲裁规则定 API 契约 v1(明示允许 D2 微调一次,避免三组按错误契约硬跑);搭 WebSocket 推送通道;当晚全组用假图+curl 跑通'上传→VLM→JSON→大屏'端到端最小穿越;数据组采购香蕉/番茄样品,启动催熟/冷藏造梯度 SOP(冰箱与保温箱列入物料清单)
D2评分卡经从业者盲标校准把门店实探产出转成资产:现行阶梯折扣结构写入沙盘 baseline 与定价先验;定护栏业务规则(成本线/折扣阶梯/D 级禁售卖禁加工强制报废)判级卡片视觉定稿:判断依据流式逐字展示、确定/待复核两态呈现(不出现任何数值置信度)请 2-3 位从业者对 30 张样例图盲标,校准两品类评分卡;用真实样品拍回归图集;把单筐判级 p95 延迟列为与准确率同级的每日回归指标(压图 768px/双模型并行/连接预热)真图打通判级链路,建立每日下班前全链路冒烟机制;数据组产出售罄曲线仿真器 v1(弹性系数区间参数化)与模拟库存库
D3判级到归堆跳价首次全通路演脚本 v1 逐字稿;评委追问清单启动,'对照评测是不是自己给自己打分'的逐字答案置顶,主讲彩排必须被考到折扣 PLU 码生成动画+价签跳价(带划线基准价)实现规格交底;沙盘看板视觉稿分档归堆规则引擎+LLM 指令话术联调;首批归堆 case 人工校验合理性(对照 D1 实拍的真实门店折扣结构)后端接归堆引擎与价签推送网关;前端做折扣堆价签页与跳价动画;数据组搭三策略蒙特卡洛沙盘框架(一刀切/分时阶梯/逐筐分档)
D4三策略沙盘与盲标报告出数功能冻结日:今天起只修不加;用区间数字重写路演价值段;产出单店月度 P&L 页(API 调用成本按每晚 300 次×单价算死、工时增量、毛利区间、回收期)沙盘看板+弹性敏感性分析页视觉实现走查弹性系数 [-1.5,-3.5] 全区间扫描出敏感性分析页;从业者盲标 100 张图的判级一致率报告定稿前端接沙盘看板;后端做证据链留痕与同筐判级会话锁定(重复扫描强制返回首次结果);晚间硬性检查点:判级重复一致率 <80% 当场拍板切'已验证样品库+缓存演示模式(屏幕明示降级)',这个决定不许拖到 D6
D5红队攻防与降级演练通过组织红队日:全员轮流当刁钻评委带边界样品攻防,记录全部翻车点;准备品类外水果接招话术卡'待人工复核'与'网络降级模式'明示状态的界面呈现;整体视觉 polish逐个修红队暴露的误判 case;验证演示用边界香蕉在彩排光照下双模型分歧是否稳定,不稳定就换样品直到找到'必然分歧'的那根API 超时明示降级+已验证样品缓存;双运营商 4G 路由实测;数据组重拍已验证样品库并按 SOP 补采样品
D6彩排现场全链路三连跑彩排 v1 主讲掐表控制在 7 分钟内;确定 Q&A 分工路演 PPT 视觉定稿;现场桌面摆位设计(单层浅盒陈列+熟度梯度香蕉篮+补光灯+平板位)在彩排现场光照下重测判级稳定性与 p95 延迟,固化最终 prompt 版本,此后禁改全员联调:真样品→判级→归堆→跳价→沙盘完整链路连跑三遍无人工干预;录制完整流程兜底视频;按 SOP 补采样品
D7彩排定稿,兜底录屏就绪彩排 v2/v3 终版;接招话术卡终检(边界样品/品类外水果/沙盘追问三套);检查所有物料清单PPT 与现场物料终检;跳价与报废登记两个关键镜头的走位确认路演当天早晨现挑样品做最后一轮判级验证;降级模式最后一次演练代码冻结;双份设备热备(两台平板两台笔记本+双 4G 路由);兜底录屏剪辑完成并预载到主讲电脑

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计1 人
算法组2 人
前端组3 人
后端组3 人
数据组2 人
产品组:1 人任队长兼主讲:D1 门店实探晚市与从业者访谈、路演故事线、脚本、彩排、评委问答清单;1 人任 PM:需求冻结、每日站会与冒烟检查、护栏业务规则定义、单店 P&L 测算、红队日组织、D4 晚硬性检查点拍板
设计:判级卡片(流式依据+两态呈现)、折扣堆价签跳价与折扣码生成动画、三策略沙盘看板与敏感性分析页的视觉与交互;路演 PPT;现场桌面摆位(单层浅盒陈列)与镜头走位设计
算法组:1 人主攻判级:评分卡 prompt、few-shot 锚点图、从业者盲标校准组织、双模型一致性仲裁、p95 延迟优化;1 人主攻定价与评测:分档规则引擎逻辑、LLM 指令话术、三策略蒙特卡洛与弹性敏感性分析的算法侧校验
前端组:判级大屏实时渲染(流式判断依据/骨架屏)、折扣堆价签页与跳价动画、三策略沙盘 dashboard、待复核与降级模式状态呈现;D6 起负责现场设备联调
后端组:API 编排服务(并行双模型调用→仲裁→归堆→推送)、WebSocket 价签推送网关、护栏规则引擎、同筐会话锁定、证据链与报废登记留痕、超时明示降级与缓存兜底
数据组:模拟库存库与售罄曲线仿真器、三策略蒙特卡洛沙盘与敏感性分析、演示样品采购与催熟/冷藏梯度 SOP(D5-D7 每日补采)、判级回归图集与盲标素材建设

对抗性问答(评审攻防实录)

对照评测是循环论证:售罄曲线是你们自己建的,逐筐定价优化的恰恰是这个模型的目标函数——裁判和运动员是同一个人,跑 1000 次蒙特卡洛只是给同一结论加噪声。'一刀切七折'还是个稻草人:七鲜早就有分时阶梯折扣,真实店长是 19 点 9 折、20 点 7 折、21 点 5 折。'+412 元'精确到个位更是自造数据的典型穿帮。你用自己发明的世界证明自己的策略更好,换个弹性系数这个数字还成立吗?而且评分卡'斑点 10-40%=C 级'是 13 个校招新人谁认可的?每一环都是自己证明自己。
证据主轴整个换掉了。①真实证据升为主轴:D2 请 2-3 位生鲜从业者(课长/水果店主)对样例图盲标校准评分卡,D4 出'判级与一线从业者盲标 100 张图一致率'报告——真实推理、真实标注、可现场复算,一个真实人类背书胜过一千次蒙特卡洛;②仿真主动降格为'评测沙盘':路演逐字稿明说'这页证明的是评测方法论,上线后同一框架接真实 POS 跑 A/B 才是效果证明';③baseline 升级三策略:一刀切/分时阶梯折扣(近似七鲜现行,D1 队长去门店蹲完整晚市实拍校准)/逐筐分档——敢跟最强人类基线比,可信度反而上升;④点估计全删:弹性系数 [-1.5,-3.5] 全区间扫描的敏感性分析页常驻看板,证明结论方向不随参数翻转,结论只报'单店单晚 +150~450 元',宁小勿假;⑤'是不是自己给自己打分'的逐字答案 D3 写进追问清单置顶,主讲彩排必须被考到。
「逐筐定价」在真实门店根本执行不了:同一 SKU 两个价,散装称重的 PLU 码挂在 SKU 上不是筐上——顾客从原价筐抓一把香蕉放进 5.9 元的筐里排队称重,收银台按哪个价收?五分钟就被顾客套利成一筐。《明码标价规定》要求折价标示比较基准,同 SKU 同店同时双价怎么合规展示?而且你们声称解放课长,实际把 1 次决策变成几百次微确认,晚市窗口根本跑不完,ROI 也没算过账。你们去七鲜看过散装称重流程吗?
定价颗粒度已从'逐筐'退到'逐筐判级、分档归堆、按档定价、拆码结算':AI 仍逐筐判级(技术亮点全保留),但执行指令是'C 级筐归并到入口折扣堆头,统一价+折扣专用 PLU 码,价签带划线基准价'——这是七鲜现有特价堆头操作的自然延伸,结算走折扣码、明码标价合规,coreScenario/护栏/价签动画/逐字稿全链路同步改,demo 还加了'折扣码生成'动画。交互同步改为'异常管理':整面堆头一次扫描,双模型一致的筐自动生成方案默认执行,只有分歧/高货值/大幅降价的筐弹人工确认——课长从几百次点击变成处理个位数异常,翻筐定夺权还在人手里。ROI 补了单店月度 P&L 页(API 成本按每晚 300 次调用算死、工时增量、毛利区间、回收期)。D1 排了队长去门店蹲一个完整晚市实拍称重与 PLU 流程,这道题的答案有现场照片。
'D 级叶菜转加工做沙拉'是在教门店违法:你们自己定义 D 级=大面积发黑/破损渗液,《食品安全法》第三十四条明令禁止用腐败变质原料加工食品,超市烂果做果切是被 3·15 点名过的行业丑闻。你们的卖点是帮总部标准化管控,结果 AI 的标准动作是指挥门店把渗液叶菜做成沙拉卖——'你们这是在教门店违法?'一句话就把'标准化能力'反转成'合规风险放大器',当场翻车且无法用话术兜。
处置矩阵已重写并全链路同步:A/B 级守价正常卖;C 级打折清售,'转熟食/果切'仅限外观降级但品质完好的场景且强制人工食安复核;D 级强制下架报废,系统自动生成报废登记+影像留痕;护栏规则改为'D 级禁止出现在任何售卖或加工指令中',coreScenario、店员指令卡、demo 逐字稿一起改,不留一处旧口径。并且把这条反转成第四个价值点写进了 demo 2:50-4:00:'AI 不止定价,还替门店留下可追溯的食安报废证据链,防止一线为压损耗指标把坏货偷偷流入加工间'——路演主动讲 10 秒食安红线,比被问出来体面一百倍。
整套'边界样本'防御建立在一个虚构数字上:VLM'列特征后自评'的置信度是 verbalized confidence,学界公认严重过校准且不可复现——同一张图跑三次给出 91%/72%/85%。你们的自考环节精确押注'输出 68%、低于 75% 阈值':现场光线差两度它输出 82% 直接判成 B 级,'知道自己不确定'的金句当场变成'连自己设计的考题都翻车'。这个置信度用什么校准的?ECE 多少?答不出来吧——因为它就是模型编的。
数值置信度已全线撤掉,一个百分号都不留。改用可复现的客观信号:Qwen-VL-Max 与 GPT-4o 对每筐独立判级,等级一致=直接出结果,分歧=标'边界样本,待人工复核'并排展示两模型各自的判断依据。UI 只有 A-D 等级+确定/待复核两态。自考环节叙事改为'两个模型一个说 B 一个说 C,系统承认这题它不确定'——分歧本身在大屏上看得见摸得着,比任何自报数字都有说服力。D5 红队日专门验证演示用边界香蕉在彩排光照下双模型分歧是否稳定,不稳定就换样品,直到找到'必然分歧'的那根才允许上台。
主动邀评委放自带水果上台,是把全场最不可控变量请进 demo,而你们的三重防线对它全部失效——评委的水果必走实时链路,缓存兜底覆盖不到。更便宜的杀招根本不用带水果:'同一根香蕉再扫一遍',一次 B 一次 C 当场穿帮。你们 risks 里自己写了'前后不一致'这个风险,mitigation 里却没有任何一致性机制。评委掏出牛油果或切开一半的火龙果,系统要么冷场要么硬判,5 秒毁掉前面 6 分钟。
三处都改了。①开放邀约已删,改为受控考场:桌上提前摆'一篮从青到黑的熟度梯度香蕉+一盒混合状态番茄',话术'评委可以任挑一个、任意角度考它'——自由度给足,品类和拍摄条件(标准筐+固定机位+补光)锁死;评委真掏出品类外水果,接招话术已备好:'这个品类的评分卡我们还没写,写一张只要半天——这正是 VLM 方案品类扩展成本低的证明',把翻车现场转化为卖点。②同筐判级会话锁定已列入 D4 开发项:同一筐位 N 分钟内重复扫描强制返回首次结果('复检确认,等级不变'),一致性问题从根上封死。③闸门本身换成双模型仲裁(不再依赖模型自报数字),且缓存只用于故障降级并在屏幕明示'网络降级模式',绝不在'现场真实推理'的宣称下偷跑。
'套壳'防线在你们最得意的地方漏了个大洞:定价层是 4 等级×4 档折扣的查表逻辑,LLM 输出还被护栏兜着、越界就回退默认值——把你的定价 LLM 换成 16 行 if-else,产品零变化。三层里真正的 AI 只有 VLM 判级一层,而'拍照说香蕉斑点 35%'评委掏出豆包就能复现。更狠的是:七鲜的电子价签和晚市自动改价机制本来就在跑,你们的净增量到底是什么?
承认,并且主动把它讲出来。路演逐字稿直接说:'定价层我们刻意不用大模型——门店要确定性,规则引擎才是对的工程选择;大模型用在它不可替代的两端:看得懂货(判级)、说得清理由(店员人话指令)'——这句话本身就是对套壳质疑最漂亮的回击,把弱点变成工程判断力的展示。demo 4:00-5:10 加了 30 秒同屏对比:同一张香蕉照片,左屏通用助手输出'香蕉较熟建议尽快食用',右屏本系统输出等级+归堆指令+价签跳变+报废留痕——一屏之差自证'通用助手 vs 生产系统'。对'七鲜已有自动改价':开场第一页就先承认内部已有能力(放我们实拍的七鲜阶梯折扣价签),再讲增量——'现有系统看得见时间和库存,看不见货的脸,我们补的是视觉鲜度这个输入变量',把评委最想问的题自己答掉。
计划按 13 个全职熟手的产能排,但这是校招新人培训期黑客松——白天有培训议程,真实可支配时间约半天×7,且是第一次协作。D1 零联调就'定死'API 契约,新人契约必在 D2-D3 返工,三组按错误契约并行等于三倍返工;D2 一天要后端打通全链路+算法拍 100 张图调到演示级,2 个人干不完。必然爆炸点是 D3 滑到 D4 吞掉功能冻结日,D5 红队暴露系统性问题到 D6'prompt 禁改'之间只有不到一天修复窗,没有任何降级预案。
已按'每人每天有效 4 小时'重排全部七天。①先砍量:品类 3→2(香蕉+番茄),叶菜只保留'判 D 报废'一个镜头;P1 可弃项显式列出(证据链溯源弹层等),本地 7B 部署直接砍掉。②集成风险摊平:'端到端最小穿越'提前到 D1 晚(假图+curl 算通过),此后每天下班前跑一次全链路冒烟,不把集成堆在 D3。③契约弹性:API 契约 D1 定 v1 但明示'允许 D2 微调一次',避免三组按错误契约硬跑。④降级预案落到具体日子和具体规则:D4 晚硬性检查点——判级重复一致率 <80% 当场拍板切'已验证样品库+缓存演示模式(屏幕明示降级)',由 PM 拍板,不许拖到 D6。
草莓是季节雷:开工在 7 月,国内草莓主产季是 11 月到次年 5 月——要么买不到,要么高价冷链货到手即 C/D 级,'熟度梯度样品组'的 A 级锚点根本不存在,few-shot 锚点图、100+ 张回归图集、彩排样品三处依赖一起塌。'提前 3 天分批采购'在 30°C+ 的夏天也不成立:草莓和叶菜常温过夜即崩,D1 采的样品到 D5 红队日已全员 D 级,渗液叶菜在会场摆一下午还有气味和卫生问题,评委还没提问先皱眉。
选品已换、SOP 已建。①品类改为香蕉+番茄:香蕉保留(乙烯催熟+冷藏减缓,3 天可人工造出 A→C 梯度);草莓换成番茄(颜色梯度天然连续、7 月当季、常温耐放、单盒陈列美观);叶菜降为只保留'判 D 强制报废'一个镜头,不追判级精度,且渗液样品只出现在照片素材里,不在会场过夜摆放。②样品管理写成数据组 SOP:D1 起催熟/冷藏分批造梯度,D5/D6/D7 每天补采,路演当天早晨现挑状态最典型的一组做最后一轮判级验证;冰箱与保温箱列入物料清单。
'10 秒内弹出鲜度卡片'是一个没被任何一天排期验证过的数字:Qwen-VL-Max 单张大图实测常在 5-15 秒,触发交叉校验还要串行调第二模型再加 10 秒以上,现场 4G 上任何一次重试就是 30 秒冷场。更糟的是把 Mac 上的 Qwen2.5-VL-7B 当断网兜底:7B 单图推理动辄数十秒,判级口径与 Max 必然不一致,等于维护两套 prompt、两套回归集——D5 半天'部署+测切换'根本不够,真切过去演示节奏和准确率双崩。
两条都照单全收。①延迟工程化:'单筐判级 p95 延迟'从 D2 起列为与准确率同级的每日回归指标——图片压至 768px、双模型并行请求(本来就要双路判级,仲裁不再串行加时)、HTTP 连接预热;按实测 p95 写路演脚本,判断依据改流式逐字输出,等待时间变成'AI 正在陈述理由'的内容时间,卡片先出骨架屏。②7B 本地部署已砍掉(outOfScope 明列),兜底收敛为三层:自带双运营商 4G 路由→已验证样品缓存(降级时屏幕明示'网络降级模式',绝不偷跑)→完整录屏预载主讲电脑;省下的算法人力全部还给主模型 prompt 稳定性和盲标校准。
'筐'这个感知单元有物理盲区:摄像头只拍得到顶层,而生鲜损耗恰恰藏在底层——草莓的压伤烂果永远在盒子下层,叶菜的黄叶烂帮在捆芯里。你们承诺'AI 逐筐判级'替代'老师傅看一眼',但老师傅看货是要翻筐的。评委走上来把你们判了 A 级的那筐翻个底朝天,捡出两颗白霉果:'A 级?'——判级可信度和前面所有定价推导一起陪葬。方案里没有一处提到'只能看见表面'这个约束。
双管齐下改掉了。①选品陈列上规避:番茄用单层浅盒(零售现行陈列本来如此)、香蕉按把平铺,D6 桌面摆位设计明确'单层浅盒陈列',话术点明'单层陈列本身就是门店堆头 SOP,为的就是看得见'。②产品定义上收缩:系统定位从'替代看货'改为'表层快筛'——判级指令新增'建议翻筐抽检'档(待复核或 C 级触发),且异常管理交互里人工翻筐定夺本来就是保留环节。被翻筐将军时的护身符话术已写进 valueProp 和接招话术卡:'AI 把 100 筐都看一眼,让老师傅只需要翻 10 筐——省的是 90% 的看,不是 100% 的验。'

路演脚本(5-8 分钟)

  1. 0:00-0:50开场先承认再破题:放我们 D1 在七鲜门店实拍的晚市阶梯折扣价签照片。'七鲜已经有电子价签和晚市分时折扣——但现有系统看得见时间和库存,看不见货的脸:同一时刻,金黄的香蕉和长斑的香蕉打同一个折。生鲜损耗率 5%-10%,每降 1 个点是净利级别的改善。我们补的是缺失的那个输入变量:视觉鲜度。'
  2. 0:50-1:50现场实拍:桌上单层浅盒摆两筐真香蕉(一筐金黄、一筐斑点明显)+一盒番茄,主讲用平板在固定机位扫过。大屏逐筐弹出判级卡片,判断依据流式逐字输出('斑点面积约 35%,果柄发黑')——等待时间就是 AI 陈述理由的时间。强调:'这不是预录视频,是现场真实推理。'
  3. 1:50-2:50自考环节:主讲拿出提前验证过'必然分歧'的边界熟度香蕉。大屏显示:Qwen 判 B、GPT-4o 判 C,系统标'边界样本,待人工复核',并排展示两个模型各自的判断依据。'两个模型吵起来了,所以系统承认这题它不确定——知道自己不确定,才是能进门店的 AI。'
  4. 2:50-4:00aha moment:AI 输出当晚方案——'A 级两筐守价原位;C 级归并入口折扣堆,统一 5.9 元/kg',主讲点确认,平板价签当场跳价:折扣 PLU 码生成动画+划线基准价+提示音。紧接着叶菜筐判 D:'强制下架报废',屏幕生成报废登记+影像留痕。'AI 不止会降价——它会守价、会清货、还会替你把食安红线守住,报废证据链可追溯。'
  5. 4:00-5:1030 秒对比+双证据:左屏把同一张香蕉照片丢给通用助手(输出'香蕉较熟建议尽快食用'),右屏本系统输出等级+归堆指令+价签跳变——'通用助手 vs 生产系统,差的是闭环'。然后上证据:真实证据=判级与 3 位生鲜从业者盲标 100 张图一致率 87%;沙盘证据=三策略对比(一刀切/分时阶梯/逐筐分档)+弹性系数全区间敏感性分析,'单店单晚多留 150-450 元'。诚实声明:'销售曲线是评测沙盘,判级是真实推理——上线接真实 POS 跑 A/B 才是效果证明。'
  6. 5:10-6:10商业想象+算过账:展示单店月度 P&L 一页——API 调用成本(每晚约 300 次调用算死)、店员工时增量、毛利增量区间、回收期。短期嵌入七鲜/京东买菜晚市运营;长期把'鲜度判级-分档定价-食安留痕'打包进京东零售云,随电子价签方案输出给第三方商超——中国几十万家生鲜门店,都缺一个不用老师傅的晚市。
  7. 6:10-7:00收尾+受控互动:'桌上这篮从青到黑的香蕉、这盒混合状态的番茄,各位评委可以任挑一个、任意角度考它。'(品类锁死在已验证范围内、拍摄条件受控;若评委掏出品类外水果,接招话术:'这个品类的评分卡我们还没写——写一张只要半天,这正是 VLM 方案品类扩展成本低的证明')一句话收束:晚市折扣官——每一筐生鲜,都值得一个聪明的价格。

风险与预案

翻车点预案
评委现场考边界样品、要求同一根香蕉重复扫描,判级翻车或前后不一致①不确定性用客观信号表达:双模型独立判级,一致即出结果、分歧即'待人工复核'并排展示双方依据——不依赖任何模型自报数字;②同筐判级会话锁定:同一筐位 N 分钟内重复扫描强制返回首次结果('复检确认,等级不变'),一致性从根上封死;③互动改受控考场:评委从我们的熟度梯度香蕉篮任挑、用标准筐+固定机位拍摄,品类与光照变量锁死;④D5 红队日全员攻防,并验证演示用边界样品在彩排光照下双模型'必然分歧',不稳定就换样品。
现场网络差或大模型 API 超时/故障,实时推理卡在台上①单筐判级 p95 延迟从 D2 起纳入每日回归(压图 768px/双模型并行/连接预热),按实测 p95 写路演脚本,判断依据流式输出+骨架屏覆盖等待窗口;②兜底三层:自带双运营商 4G 路由→已验证样品缓存(降级时屏幕明示'网络降级模式',绝不在'现场真实推理'宣称下偷跑缓存)→完整录屏预载主讲电脑;③砍掉本地 7B 部署这个伪安全感(口径不一致、速度不达标),算法人力全部还给主模型稳定性。
被追问'凭什么信 AI',仿真数字被指循环论证、baseline 被指稻草人①证据主轴换成真实可验的数字:从业者盲标 100 张图的判级一致率——真实推理、真实标注、可现场复算;②仿真主动降格为'评测沙盘'并明说'上线接真实 POS 跑 A/B 才是效果证明';③baseline 升级三策略:加入'分时阶梯折扣(近似七鲜现行,D1 实探校准)'这个最强人类基线,数字宁小勿假只报区间;④弹性系数全区间敏感性分析页常驻看板,把评委最可能的追问变成我们准备好的一页;'是不是自己给自己打分'的逐字答案 D3 起置顶追问清单。
夏季样品管理与现场光照:草莓无当季 A 级货、样品过夜即崩、彩排光照与开发环境差异①选品避季节雷:香蕉(乙烯催熟+冷藏减缓,3 天人工造 A→C 梯度)+番茄(颜色梯度天然连续、7 月当季、耐放),叶菜只保留'判 D 报废'镜头;②样品管理写成数据组 SOP:催熟/冷藏分批造梯度,D5/D6/D7 每天补采,路演早晨现挑现验,冰箱保温箱入物料清单;③固定机位+自带补光灯把拍摄条件变成受控变量,D6 在彩排现场光照下重测并固化 prompt,此后禁改。
13 人新人团队按半天×7 的真实产能,集成失控、D3 里程碑连锁滑坡①按'每人每天有效 4 小时'排期,品类 3→2,P1 可弃项(溯源弹层等)显式列出先砍保关键路径;②'端到端最小穿越'提前到 D1 晚(假图+curl 算通过),此后每天下班前全链路冒烟,集成风险摊平不堆在 D3;③API 契约 D1 定 v1 并明示允许 D2 微调一次;④D4 晚硬性检查点决策规则:判级重复一致率 <80% 当场切'缓存演示模式(屏幕明示)',不许拖到 D6;⑤D4 功能冻结、D6-D7 整两天只做联调彩排兜底。
03
健康:健康行业AI应用

审方雷达

秒签95%,盯死5%

为什么是它:健康线最稳的一张牌:可行性 8.5(无语音、无实时、无图像生成,风险全收敛在'攒 500 张带雷 mock 处方'这种可分工的体力活上),演示视角 7.5('评委现场埋雷处方、AI 3 秒拆弹并引说明书原文举证'把演示做成挑战赛,是对抗型 demo 的最高形态之一),业务视角认可其切中处方药 GMV 扩张的法定合规瓶颈——'校招新人切供给侧合规链路'本身就是差异化记忆点,与全场扎堆 C 端形成认知反差。注意与 pharmacy-3 是同一 idea,本次以 health-ai-3 入选、pharmacy-3 出局,绝不双报。 本方案初稿经三路对抗评审 18 条质疑(高 10 / 中 6)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户京东健康互联网医院审方中心的执业药师(一线用户)与审方运营负责人(买单人);延伸用户是多省已认可的远程审方模式下、经药京采生态接入集中审方服务的中小连锁药房。
核心场景早班 9 点,药师王姐登录审方台。处方流以每秒 2-3 张涌入:95% 的正常单被双层引擎判绿,进入她的'极速签核通道'——一屏 20 张、AI 附规则校验摘要,她扫视后批量勾选签核,每张 1-2 秒,每张都留下她本人确认的审核轨迹,签字责任链完整;一张'孕 8 周 + 利巴韦林'在 200ms 内被规则引擎判红硬拦截,附说明书原文举证;一张'14 岁上呼吸道感染开左氧氟沙星'被 LLM 判黄,卡片上是一句人话理由——'左氧氟沙星说明书载明 18 岁以下禁用,且病毒性上感通常无需喹诺酮,建议核实诊断或换阿莫西林',并附禁忌项原文截取。她对黄单逐张深度复核,30 秒内完成维持/放行/联系医生三选一;每次改判回流评测库,大屏上的召回/误报数字随之刷新。一上午她深度复核约 60 张问题单、批签千余张正常单,总耗时不到过去的 1/6——每张处方仍由她签核,但注意力全部花在真正危险的单子上。
价值主张把药师从'每张几十秒的无差别人肉扫描'解放成'95% 秒级批签 + 5% 深度复核':每张处方仍由执业药师签核,法律责任链完整、不碰'每张处方必须药师审核'的法规红线;硬性禁忌规则层 100% 秒级拦截,语义疑点带说明书原文举证、可追责可复核;人均审方总耗时降至约 1/6(唯一对外口径),同时压降疲劳漏审风险,缩短用户下单到发药的等待。
差异化本质对'套壳大模型':裸 LLM 会漏硬禁忌、会幻觉出不存在的禁忌条款、给不出可追责的依据——我们在路演现场就演这个对照:同一张处方直问裸 LLM,它编造出处;审方雷达因引不出说明书原文而自动降级拒判。差异化押在三件不依赖任何对手能力边界的事上:(1) 防幻觉架构——规则引擎前置处理查表可解的硬禁忌(每条规则挂说明书原文出处),LLM 只管语义长尾且每条红黄判定强制 grounding 到 RAG 召回的说明书原文,引不出原文自动降级,幻觉被架构掐死而非靠 prompt 祈祷;(2) 可复现的评测基建——100 颗四层分层埋雷、调参集与封存评测集硬性隔离,这份'审方 AI 的考卷'对任何审方引擎(包括内部系统)都可直接跑分,是行业缺失的质检件;(3) 人机协作飞轮——每条拦截带药师能读懂能引证的理由,药师改判实时回流评测集,系统在被使用的过程中变强。对照实验诚实声明:规则基线组是我们按公开配伍禁忌库自建的行业典型基线,不代表也不预设京东健康内部系统的能力——如果内部已覆盖语义层,我们的评测框架和举证解释层就是现成的质检件与解释件,接入即用。

MVP 范围(七天砍法)

做(IN SCOPE)

  • 双层审方引擎:规则硬校验前置(每条规则挂说明书原文出处)+ LLM 语义预审,输出红黄绿 + 一句话理由 + 说明书引文,grounding 校验失败自动降级
  • 审方大屏(全程真实时推理)+ 药师工作台:绿单极速批签通道(批量勾选、留审核轨迹)、黄单深度复核、改判回流后大屏召回/误报数字实时跳动
  • 评委现场埋雷通道:'科室+诊断+年龄'要素卡自由组合,手写/打印处方拍照上传,分步流式可视化——2 秒内 OCR 结果先上屏,规则层即时亮灯,LLM 理由与引文最后浮出,10 秒内完成
  • 100 颗四层埋雷评测集(40 颗调参 / 60 颗封存至 D5,硬性隔离)+ 三组对照评测(自建规则基线 / 裸 LLM 直问 / 双层+grounding),报混淆矩阵与诚实计数
  • 80 种核心药说明书 RAG 知识库(人工搜集 + LLM 辅助结构化 + 人工抽验,字段级切分,不写通用爬虫)
  • 模板化 mock 处方生成器:30-40 个人工审定的'科室×诊断×标准处方'医学模板做参数化变异,全量正常单经双层引擎反跑筛查

不做(OUT OF SCOPE)

  • 不对接真实 HIS/医院处方系统、不碰任何真实患者数据(全程 mock,路演明说并附数据卡)
  • 不做电子签名系统对接、处方流转、发药履约等审方之外的合规全链路(demo 内批签轨迹为演示级)
  • 不做账号权限体系、多租户 SaaS 化、药师绩效管理后台
  • 不做全量药品库——只深耕 demo 剧本覆盖的 80 种核心药,超纲药品诚实输出'不在知识库,转人工审核'
  • 不做模型微调/自训练,纯 prompt + RAG + 规则,7 天内不碰训练链路
  • 不做 C 端患者侧任何功能(用药咨询、健康聊天一概不碰)

技术架构

交互层 审方大屏 药师工作台 埋雷上传入口 处方流2-3张/秒 服务编排层 处方流网关 审方编排器 分级聚合服务 SSE实时推送 待审处方分发 智能层 规则硬校验引擎 LLM语义审核 说明书RAG检索 多模态OCR 判级结果+引文落库 数据层 说明书知识库 mock处方生成器 审核结果库 埋雷评测集 改判回流库

架构图可左右滑动查看 →

  1. 模板化生成器按每秒 2-3 张推送处方至处方流网关(评委埋雷单经 OCR 结构化走同一入口),大屏流全程真实时推理,缓存仅作断网兜底
  2. 审方编排器先调规则硬校验引擎:超量/年龄/孕哺/配伍查表,命中即判红,200ms 返回,每条命中规则携带说明书原文出处
  3. 规则未命中的处方并行触发:说明书知识库按药品名字段级召回(禁忌/适应症/用法用量)+ LLM 语义审核预取
  4. LLM 携带 RAG 片段 + 4 条 few-shot 判例输出结构化 JSON(级别/疑点/理由/引文出处);红判走 DeepSeek+Qwen 双路并行复核,不一致降黄
  5. 分级聚合服务做 grounding 校验:归一化(去标点/全半角/压空白)后子串匹配 + 引文最短 15 字,引不出原文自动降级并打日志,结果落审核结果库
  6. SSE 实时推送至大屏(红黄绿动效 + 评测数字角标)与工作台(绿单入批签队列、黄单入深度复核队列)
  7. 药师批签绿单、精审黄单,改判记录回流埋雷评测集与改判回流库,大屏召回/误报数字当场跳动

AI 设计

模型选型
  • DeepSeek-V3 API(主力语义审核,中文医学理解强、便宜可高并发)
  • Qwen-Max / DashScope API(红判并行二路复核 + 主力故障热备,双供应商互备)
  • Qwen-VL-Max(评委手写/打印处方拍照 OCR 结构化,结果 2 秒内先上屏)
  • BGE-M3(开源 embedding,说明书字段级片段向量化,兜底关键词精确匹配)
编排策略双层编排各干各的:规则引擎前置处理'查表可解'的硬禁忌——只收录说明书原文明示的黑白条款('孕妇禁用''18 岁以下禁用''日剂量不超过 X'),每条规则挂原文出处字段,与埋雷单走同一条'交叉写-二审-三审'医学复核流水线,要素卡覆盖的每个药品 D5 前做一正一反全量回归(既拦得住也不误杀);漏网处方才进 LLM。RAG 入库时把说明书切成【禁忌】【适应症】【用法用量】【特殊人群】字段级片段,按药品名精确召回+向量补召,prompt 只拼相关字段。LLM 侧:结构化 JSON 输出(level/risk_type/reason/citation)、温度 0;few-shot 从 8 条裁到 4 条压 prompt 延迟,且判例与封存评测集严格隔离;红判双路改并行调用,OCR 与 RAG 预取并行——现场拆弹链路 P95 从 Day 3 起每天用真实 API 连跑 50 次实测。防幻觉铁律工程化:citation 做归一化后子串匹配(去标点/统一全半角/压空白,最短 15 字),对不上原文强制降级进人工,每次降级打日志,D4 单独统计误降级率并调阈值——防幻觉机制自己不能变成最大误报源。答辩定调:'降级是把模型确信但引不出证据的判定从自动拦截降为人工复核,权责边界从这里划开'。
Mock 数据策略逼真靠构造保证,不靠审出来。正常单:产品+算法人工写死 30-40 个'科室×诊断×标准处方'模板,药品/剂量/频次全部取说明书标准值,医学正确性在模板层一次性锁死;生成器只做参数化变异(假名库、年龄限定在模板安全区间、身份证生日与年龄自洽、处方号仿 HIS 格式),LLM 仅润色主诉文案等不涉医学事实的字段;全部正常单再用自己的双层引擎反跑一遍,被判红黄的修正或剔出演示池;大屏可点开细看的走 120 张人工逐张过目的白名单,其余滚动展示不可交互。埋雷:扩到 100 颗(每层 25:L1 硬禁忌 / L2 剂量红线 / L3 诊断-适应症错配 / L4 多药叠加),D2-D4 分批产出,只埋'说明书原文可逐字举证'的雷;硬性四六分——40 颗调参集、60 颗封存至 D5 评测才开封,路演只报封存集数字;三审流水线(算法交叉写、产品对照说明书逐字二审、外部医药背景三审)同时覆盖埋雷单、规则表和抽检的 50 张绿单;5% 埋雷比例注明参照公开文献处方不合理率区间设定。隐私演给评委看:大屏假身份证号部分打码,数据卡写明'零真实患者数据;上线设计为推理只用最小必要字段(年龄段/性别/诊断/用药),脱敏网关,改判回流只留结构化标注不留患者标识'。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D130种核心药入库,RAG跑通冻结需求与 demo 剧本骨架;落地报名前数据源侦察结论(说明书来源/格式/可得量清单);定处方模板规范与埋雷四层标准出审方大屏 + 药师工作台视觉稿,定红黄绿与批签通道视觉语言30 种核心药说明书人工整理 + LLM 辅助结构化入库 + 抽验;RAG 字段级检索原型跑通前端框架 + 后端服务骨架搭建;数据组建'人肉搜集+结构化+抽验'流水线,不写通用爬虫
D2端到端最丑通路打通埋雷标注手册;与算法开写 100 颗雷第一批(含标准答案与原文出处)红黄绿卡片、批签交互与流入动效组件规则表初版(仅收录原文明示黑白条款,每条挂出处);审方 prompt v1 + JSON 格式钉死 + 4 条 few-shottracer bullet:一张处方从生成器→规则+LLM→SSE→大屏白框亮灯全线打通;自今日起每天 18:00 全员 15 分钟 mini 联调作硬性 gate
D3拆弹链路P95实测出数埋雷第二批 + 第一轮交叉复核;规则表并入同一医学复核流水线交付大屏与工作台切图;路演 PPT 框架医学模板×参数化生成 250 张 + 引擎反跑筛查;真实 API 拆弹链路连跑 50 次记录 P95(此后每日跑);药品库补至 60 种编排器全链路(含红判并行双路 + grounding 校验);大屏接实时流;工作台开发启动
D4调参集首评,工作台完成雷答案第二轮复核 + 送外部医药背景三审;抽 50 张绿单一并送三审把关PPT 主体完成;大屏视觉细节打磨40 颗调参集上跑三组对照(规则基线/裸 LLM/双层),按坏 case 调 prompt;统计误降级率调 grounding 阈值;核查 few-shot 与封存集隔离;药品库补至 80 种药师工作台完成(批签通道 + 复核队列 + 改判回流上屏);OCR 上传链路开工
D5封存集定数,兜底视频v1demo 脚本 v2 逐秒走查;评委'科室+诊断+年龄'要素卡定稿分步流式动效收尾;断网/超时/OCR 失败异常态兜底页60 颗封存集开封评测,混淆矩阵定稿(黄单 precision ≥70% 才报数);要素卡药品规则全量回归(每药一正一反)OCR 分步流式链路调通(P95 达标 10 秒内);全链路压测;晚间用缓存判定结果先录兜底视频 v1
D6两轮彩排,故障演练闭环主持全员彩排两轮,掐表卡点;翻车点当天挂账分派修复按彩排反馈修 PPT 与界面文案修评测暴露坏 case 后冻结 prompt;120 张白名单处方最终逐张过目故障演练(拔网线/API 超时/OCR 失败)+ 当日修复;晚间补录兜底视频 v2
D7代码冻结,终彩排定稿终版路演脚本 + 答辩 QA 清单(首条即合规签核与对照组口径);模拟评委压力提问三轮PPT / 数据卡 / 要素卡终稿打印双供应商 API 预热与配额确认;大屏断网兜底缓存预灌代码冻结;演示机 + 备份机双机部署,全程 localhost 不依赖场馆网络;上午如需补录精修兜底视频

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计1 人
算法组2 人
前端组3 人
后端组3 人
数据组2 人
产品组:需求冻结与防蔓延、demo 剧本与路演脚本、埋雷单与规则表医学复核终审、合规签核叙事与答辩 QA(对照组口径)、现场主讲
设计:审方大屏与工作台全套 UI、红黄绿与批签视觉语言、分步流式动效规范、路演 PPT 与数据卡/要素卡、异常态兜底页
算法组:审方 prompt 与 4 条 few-shot 判例、RAG 与 grounding 归一化校验、规则表编写(进三审流水线)、100 颗雷设计、调参/封存两轮评测与拆弹链路 P95 每日实测
前端组:审方大屏实时流渲染与批签动效、药师复核工作台与改判回流上屏、埋雷拍照上传分步流式交互(评测数字并入大屏角标,不做独立面板)
后端组:处方流网关与 SSE 推送、审方编排器(规则+LLM+RAG 并行编排)、规则引擎实现、双机部署与故障演练、每日 18:00 mini 联调守门
数据组:说明书人肉搜集 + LLM 辅助结构化 + 人工抽验(30→60→80 种滚动入库)、模板化处方生成流水线与引擎反跑筛查工具、处方集版本管理

对抗性问答(评审攻防实录)

3 秒拆弹的数学根本不成立:Qwen-VL 手写 OCR 3-6 秒起步,DeepSeek 带 8 条 few-shot 长 prompt 再 3-8 秒,红判还要双路 self-consistency 串着跑,P95 轻松 10-20 秒——你们把全场唯一必须走真实推理、缓存兜不住的请求放在最高潮还挂倒计时,当着评委的面赌 API 尾延迟。更糟的是高潮案例'孕 6 周+异维A酸'走的是查表,恰好是你们自己承认最没创新的那 30%,评委亲手埋雷,最后高潮是一次字典查询。
全盘吸收,高潮重做。(1) '3 秒'从所有话术和 PPT 删除,倒计时改分步流式亮灯:2 秒内 OCR 结果先上屏让评委确认'认对了我的字'(本身是个小高潮),规则层即时亮灯,LLM 理由与引文最后浮出,承诺'10 秒内'、每秒屏幕有动静,不存在冷场。(2) 高潮案例换成 L3 语义雷'14 岁+病毒性上感+左氧氟沙星'——规则层放行、LLM 层抓住,演示的是我们独有的那一层;引导卡改成'科室+诊断+年龄'要素卡让评委自由组合,魔术感消失。(3) 工程上红判双路改并行、few-shot 从 8 砍到 4、OCR 与 RAG 预取并行。(4) Day 3 起每天用真实 API 连跑 50 次拆弹链路记录 P95,写进七天计划作每日硬性检查项,不是 Day 5 才第一次知道耗时。
全案地基是个没人验证过的假设:NMPA 官网根本没有可批量爬取的说明书全文库,说明书散落在厂商 PDF 和有版权的第三方站,'清洗'的真实工作量按周计——你们让 2 名校招数据新人一天完成 200 药爬取清洗入库,而这个库是 RAG、规则表、mock 生成、埋雷答案四条线的共同上游。Day 1 崩,7 天全盘崩,还没留任何缓冲。
吸收并改计划。报名截止前先花半天做数据源侦察(确认来源/格式/可得量,拿不到就换题),侦察结论作为 D1 的输入写进计划;药品数从 200 砍到 80 种——12 个科室剧本 + 要素卡高危药全覆盖,demo 里评委感知不到 200 和 80 的区别,'超纲转人工'话术照用;Day 1 里程碑改为'30 种核心药人工整理入库 + RAG 跑通',D3 补到 60、D4 补到 80,按 demo 剧本优先级滚动;不写通用爬虫,人肉搜集 + LLM 辅助结构化 + 人工抽验,两人四天 80 份是可兑现的产能。
出卷人和调参人是同一拨人,8 条 few-shot 和埋雷四层一一同型——92% 是在自己出的卷子上刷出来的吧?25 颗雷报两位数精度暴露业余;7% 误报乘 475 张正常单等于 33 张假警报比真雷还多,黄单 precision 不足 50%,你们亲手写'误报是 B 端命门'然后用自己的数字踩死它;放到'日均十万级'上,7% FPR = 每天 7000 张误报,'王姐只复核 63 张'纯属虚构,还是用自己造的 5% 分布证明自己价值主张的循环论证。
评测体系重做。雷集扩到 100 颗(每层 25,D2-D4 分批,三审不变),硬性四六分:40 颗调参、60 颗封存到 D5 才开封,few-shot 判例与封存集隔离并专项核查,路演只报封存集数字,PPT 明写'调参与评测数据隔离'——这句话本身是加分项。话术从精确百分比改成诚实计数:'封存 60 颗拦 55 颗,漏掉的 5 颗长这样',主动展示漏判 case。误报改报混淆矩阵和明确口径的 FPR,grounding 阈值调到黄单 precision ≥70% 才报数;PPT 加'十万单规模账本'页,日处方量×FPR+真阳性→复核队列→折算药师人数,主动算给评委看。埋雷 5% 比例注明参照公开文献处方不合理率区间,摘掉循环论证的帽子。
你们通篇论证'裸 LLM 不可靠',转头让 LLM 批量生成 475 张'正常'处方且零医学复核,自洽性脚本只查身份证年龄这种形式一致性,还邀请评委'随手点开任何一张都经得起细看'。有药学背景的评委点开一张绿单发现配伍禁忌——你的系统刚当众给问题处方发了绿牌,mock 穿帮和系统漏判一次性双杀,比雷的答案出错致命十倍。
生成方式重做,'经得起细看'靠构造保证而不是审出来。正常单不让 LLM 自由发挥:产品+算法人工写死 30-40 个'科室×诊断×标准处方'模板,药品/剂量/频次全取说明书标准值,医学正确性在模板层一次性锁死;生成器只做参数化变异(假名/安全区间年龄/日期处方号),LLM 仅润色不涉医学事实的主诉文案。全部正常单用自己的双层引擎反跑一遍,判红黄的修正或剔出演示池;大屏可点开的走 120 张人工逐张过目白名单,其余滚动不可交互;外部医药三审额外抽 50 张绿单把关并写上数据卡;演示时段流里不混会被漏掉的雷——漏判只在评测报告里诚实呈现,不在路演现场肉眼可见。
按 8 名校招新人的真实产能,Day 3 和 Day 6 必爆:Day 3 后端 3 人一天串全链路+大屏接流+工作台启动,前端当天才拿到切图、SSE 动效第一次写、3 人摊 4 个界面;Day 6 全案唯一联调日塞了联调、故障演练、两轮彩排、录兜底视频四件事——第一次联调必然暴露的问题会直接挤掉录制和彩排。评分第一项是现场演示效果,你们只给流畅度留了一天。
改 tracer bullet 制并落进计划。Day 2 里程碑就是端到端最丑通路:一张处方从生成器→规则+LLM→SSE→大屏白框亮灯,此后全部工作是在活链路上加肉;Day 3 起每天 18:00 全员 15 分钟 mini 联调作硬性 gate,问题当天挂账当天分派。兜底视频提前到 D5 晚用缓存判定先录 v1(糙没关系,有比没有强),D6 只做修复+两轮彩排,D6 晚/D7 上午补录精修版。砍掉'评测对照面板'独立界面——数字进 PPT 和大屏角标就够了,前端 4 个界面减到 3 个,省出的人力全押大屏和工作台。
两个'确定性'卖点都比说的脆:规则表由 2 名无药学背景的算法新人手编,却是'确定性 100%、不赌概率'话术的全部依据,评委现场埋雷走的正是这条路,一个年龄边界抄错、一对配伍写反,当场死得比 LLM 幻觉难看;'citation 逐字字符串比对'改个标点、全半角互换就把正确红判误降级,防幻觉机制自己变成最大误报源,反过来恶化本来就难看的 precision。
两处都改。规则表只收录说明书原文明示的黑白条款('孕妇禁用''18 岁以下禁用''日剂量不超过 X'),每条规则挂原文出处字段,与 100 颗埋雷单进同一条'交叉写-二审-三审'医学复核流水线;要素卡上每个药品的规则 D5 前做全量回归——每药至少一正一反两张测试单,确认既拦得住也不误杀。grounding 从严格逐字改为'归一化(去标点/统一全半角/压空白)后子串匹配 + 引文最短 15 字',每次降级打日志,D4 评测单独统计误降级率并调阈值。答辩备好定调话术:'降级是把模型确信但引不出证据的判定从自动拦截降为人工复核——权责边界从这里划开',把工程细节升华成产品哲学。
你们的数字在自己打自己,还踩了合规红线:'95% 正常单自动放行、不占药师一秒'直接违反你们自己引用的'每张处方必须药师审核'——绿单谁签的字?出了药害事故审核责任人是谁?AI 不具备处方审核资格,这是零分题。tagline'一单不漏'被自己 92% 召回当场证伪;1200→63 是 19 倍你写 6 倍,误报口径也对不上,评委按三下计算器全线崩。
产品和叙事都改了。绿单不再'自动放行':工作台加'极速签核通道',药师一屏批量勾选签核,每张留下药师本人确认的审核轨迹,法律责任链完整——话术改'95% 秒级签核、5% 深度复核',人效故事不变(几十秒/张→1-2 秒/张批签),demo 加 3 秒批签 20 张的镜头反而多一个亮点;tagline 改为'秒签 95%,盯死 5%'。数字统一口径:删'一单不漏',改可守的'硬禁忌规则层 100% 拦截';人效只报一个数'人均审方总耗时降至约 1/6';误报分母明确定义为 FPR,十万单账本页公开推算复核队列量。
整个差异化押在'京东健康内部审方=纯规则查表、语义召回 0'这个你们无法验证、大概率错误、还冒犯主办方的断言上——京东健康早就发布'京医千询'医疗大模型并公开宣传用于智能审方,评委席上很可能就坐着京东健康的人,一句'你们跑的那个规则组是我们的系统吗?'把核心数字连同 QA 第一题答案打成造假,还显得你们连主办方新闻稿都没搜过。
对照叙事整体重写。对照组从'内部系统'降级为诚实声明的'行业通用规则基线'——明确说明是按公开配伍禁忌库自建、不代表也不预设京东内部能力;评测改三组:规则基线 / 裸 LLM 直问 / 双层+grounding,路演现场演示裸 LLM 幻觉出给不出出处的'禁忌'、而我们因引不出原文自动降级——这一幕比任何数字都有说服力且不冒犯主办方。差异化改押三件不依赖对方能力边界的事:防幻觉 grounding 架构、可复现分层埋雷评测集(内部系统也可直接拿去跑分的'考卷')、药师可引证协作+改判回流。答辩话术转守势且进可攻退可守:'如果内部已覆盖语义层,我们的评测框架和举证层就是现成的质检件和解释件,接入即用'。
创新性天花板肉眼可见:'规则前置+LLM 兜底+RAG 引原文+JSON+few-shot+self-consistency'是过去两年每篇 LLM 应用最佳实践文章的目录页,阿里健康、平安好医生、卫宁的 AI 审方都商用了。讽刺的是你们唯一真有新意的'药师改判回流持续校准'只在场景里提了一句,demo 脚本里完全没露出——最可能拿创新分的牌被自己埋了。
吸收并做成路演高光。demoScript 新增专门一幕(5:30-6:30):药师现场改判一张黄单,大屏上封存集召回/误报数字当场跳动,再点'重跑同类单'展示新判例即时生效——'系统在被药师使用的过程中变强'是市面产品都没演过的一幕。工程上改判写回评测集与大屏角标本就在 mvpScope 内,增量不到一天;配合调参/封存隔离的评测基建和裸 LLM 现场对照,定位从'又一个 RAG 审方'拉到'人机协作飞轮 + 可复现评测基建',创新分押在这两张牌上而不是架构目录页。
商业故事不成立:中小药房的合规缺口是'没有执业药师在场签字'(挂证整治的靶心),你们刚论证完 AI 不能替药师签字,SaaS 卖给没药师的药房解决什么?药监来查还是没有审方记录,罚单少一张吗?另外 200 药对数万 SKU 覆盖不到 1%,真实处方手写体、别名混用、诊断非标,'92% 召回'对真实分布还剩多少、离接真实流差什么差多久,方案里一个字没有,评委一问就哑口。
商业叙事换成合规上真实成立、且只有平台型玩家做得了的路径:'远程审方中心效能引擎'——多省药监已认可远程审方模式,京东健康做集中式远程审方服务,用审方雷达让中心药师团队服务半径扩大 5-10 倍,药师签字责任链完整,药京采数十万药房是现成渠道,把'AI 提效'和'合规供给'焊在一起。外推差距主动讲成路线图而非被动挨问:PPT'上线三步'页——(1) 知识库扩展是可自动化流水线,现场演'新药入库'(说明书原文进、字段级切分出,80→3000 种只是跑批);(2) shadow-run 计划:接脱敏处方流只读不拦截跑 4 周,拿真实分布上的召回/误报再谈上线;(3) 脏数据层:诊断 ICD 归一化与药品别名库列为已识别的下一阶段工程项。隐私叙事同步补全下半场:推理只用最小必要字段、脱敏网关、改判回流不留患者标识、大屏假身份证打码——连假数据都按真数据的隐私标准对待。

路演脚本(5-8 分钟)

  1. 0:00-0:45痛点开场:法规要求互联网医院每张处方必经药师审核,京东健康日均处方十万级,药师人均每张只有几十秒——而 95% 的处方完全正常。点题:AI 不替药师签字,它让药师把 95% 的正常单秒级批签、把精力盯死真正危险的 5%——每张处方仍由药师签核,合规红线一寸不碰。
  2. 0:45-1:30方案与架构一页图:双层引擎——规则库秒拦硬禁忌(每条规则挂说明书原文出处),LLM+说明书 RAG 补语义长尾,每条判定强制引原文、引不出就自动降级,幻觉在架构层被掐死。同时亮数据卡:全部数据基于公开说明书自造、零真实患者数据、假身份证打码、上线设计推理只用最小必要字段。
  3. 1:30-3:00大屏实况(全程真实时推理,备好话术'缓存只是断网预案,您指任何一张我们当场重跑'):处方流每秒 2-3 张涌入,切药师视角——绿单批签通道 3 秒勾选签核 20 张(每张留审核轨迹),一张红单(孕 8 周+利巴韦林,规则层 200ms 拦截+原文举证),一张黄单(14 岁上感开左氧氟沙星,LLM 人话理由+禁忌原文),30 秒复核 3 张黄单。
  4. 3:00-4:30aha moment——评委现场拆弹语义雷:请评委用'科室+诊断+年龄'要素卡自由组合,手写一张如'14 岁,病毒性上呼吸道感染,左氧氟沙星 0.5g qd',拍照上传。分步流式亮灯:2 秒内 OCR 结构化结果先上屏(评委先确认'认对了我的字'),规则层显示'无硬禁忌命中'放行,LLM 层抓住语义雷、说明书原文放大举证,全程 10 秒内步步有动静——演示的是规则引擎在架构上够不着、只有我们这层能抓的雷。
  5. 4:30-5:30裸 LLM 对照 + 亮诚实数字:同一张处方直问裸大模型,现场看它幻觉出无法给出出处的'禁忌';审方雷达因引不出原文自动降级拒判——防幻觉是架构不是运气。然后报封存集数字:60 颗封存雷(与调参数据硬性隔离,PPT 明写)拦下 55 颗,漏掉的 5 颗长什么样主动展示;黄单 precision 与混淆矩阵、十万单规模的复核队列账本一并算给评委看。
  6. 5:30-6:30人机协作飞轮:药师在工作台现场改判一张黄单,大屏上召回/误报数字当场跳动;点'重跑同类单',新判例即时生效——系统在被药师使用的过程中变强,这是'又一个 RAG 审方'和'人机协作飞轮'的分界线。
  7. 6:30-7:15商业想象:对内做'远程审方中心效能引擎'——多省药监已认可远程审方模式,集中式药师团队服务半径扩大 5-10 倍,签字责任链完整,药京采数十万药房是现成渠道,只有平台型玩家做得了。上线三步路线图:新药入库流水线现场演示(原文进、字段级切分出,80→3000 种只是跑批);shadow-run 4 周拿真实分布数字;诊断 ICD 归一化与药品别名库列为已识别工程项。
  8. 7:15-7:30收尾:'AI 不替药师签字,它让药师的每一秒都花在真正危险的处方上'。团队分工一页带过,致谢,进入答辩(QA 首条已备好:合规签核与对照组口径)。

风险与预案

翻车点预案
医学内容出错——埋雷答案、规则表条款或大屏正常单被有药学背景的评委当场指错,专业可信度归零统一三审流水线(算法交叉写、产品对照说明书逐字二审、外部医药背景三审)同时覆盖 100 颗雷、全部规则条款和抽检的 50 张绿单;正常单医学正确性在人工模板层锁死,全量经引擎反跑筛查;可点开细看的只有 120 张人工过目白名单;要素卡药品每药一正一反回归,既拦得住也不误杀;只埋'原文可逐字举证'的雷。
现场拆弹环节失控——真实推理延迟超预期、评委手写超纲药品、OCR 识别失败,最高潮变冷场'3 秒倒计时'已全案删除,改分步流式可视化(2 秒 OCR 上屏→规则亮灯→LLM 引文浮出,承诺 10 秒内,每秒有动静);D3 起每天真实 API 连跑 50 次记录 P95;双路并行 + few-shot 砍半 + OCR/RAG 预取并行压延迟;要素卡自然引导选题,库外药诚实输出'不在知识库转人工'并讲成安全设计;OCR 失败切口述键盘录入,流程不中断。
路演现场 LLM API 超时/限流或场馆网络不可控DeepSeek + Qwen 双供应商热备自动切换;全链路 localhost 部署,唯一外网依赖是 LLM API;大屏流平时走真实推理,断网时切预灌缓存并明说'这是故障预案';兜底视频 D5 晚先录 v1、D6 补录 v2,主持人有切视频话术;双机热备,D6 拔网线演练确保降级路径真实可用。
评委追问'京东健康内部已有智能审方(京医千询)',对照叙事被定性为稻草人或冒犯主办方对照组已改为诚实声明的'自建行业规则基线 + 裸 LLM'三组对照,全案不出现对内部系统能力的任何断言;答辩守势话术:'不预设内部实现,我们交付的是可验证性——评测集可直接给内部系统跑分,举证层和改判回流对任何审方引擎都是增量、接入即用';此为 QA 首题,D7 压力演练三轮。
评测数字可信度被内行拆穿——自出卷自调参、样本小、误报账算不平40/60 调参与封存硬性隔离并写上 PPT;few-shot 判例与封存集隔离核查;报诚实计数与混淆矩阵而非孤立百分比,主动展示漏判 case;黄单 precision ≥70% 才报数;'十万单规模账本'主动把复核队列量和折算人力算给评委;埋雷比例锚定公开文献处方不合理率区间。
04
工业:工业品采购数字化平台

工业慧眼

拍一下坏件,三分钟找到能替它的货

为什么是它:工业线的舞台魔法:从口袋掏出真接触器→拍照→'该型号已停产'→替代参数矩阵逐格点亮,'实物零件变数字商品'是不需要解释的 aha 瞬间(演示视角 8.5),且演示节奏完全握在自己手里。业务视角 7.5:紧急维修找件是 MRO 里客户最肯付钱的场景(停机一小时数万元的账客户自己会算),沉淀的可替代关系图谱长在墨卡托商品库上、竞对短期抄不走。技术上 VLM 识铭牌+预制替代数据+LLM 推理,无一票否决项。 本方案初稿经三路对抗评审 18 条质疑(高 10 / 中 6)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户制造业工厂的一线设备维修工、运维工程师和 MRO 采购员——京东工业的核心客群。尤其是中小工厂里没有完整备件台账、手里只有坏件实物的人:他们最懂设备,却最缺型号信息和选型渠道。
核心场景凌晨两点,产线接触器烧毁停机。维修工拆下坏件,铭牌被油污和电弧灼伤,只认得出半截字。他打开京东工业 App 的『拍照找件』入口,对坏件正面和铭牌各拍一张。10 秒后屏幕给出识别结论和证据链:铭牌残字『3TB4_』命中 + 外观体积与端子布局锁定电流档位,判定为西门子 3TB44 接触器(主演示型号以 D1 双重事实验证锁定为准),并提示『该系列已停产』,附厂商官网停产公告依据。系统给出分级替代:厂商官方对照的 3RT 新系列(价高、货期长),以及跨品牌 AI 参数推理的正泰等效款——参数矩阵逐项点亮:安全关键参数(额定电流、分断能力、认证)全部一致才进候选;安装孔距差 2mm 标红,附『需加转接板,已一并推荐』。他追问一句『要国产便宜的』,系统重排置顶正泰款,价差 -37%。经工程确认页确认后一键下单:距厂 18km 前置仓有货,最快 4 小时达——产线当天恢复,全程 3 分钟,替代过去打电话问原厂翻手册的 2-3 天。
价值主张把『紧急找件数天』压缩到『拍照三分钟』,并用京东工业前置仓小时级履约圆上停机账——停机 1 小时损失数万,4 小时达才真正救产线,次日达救不了。对京东工业,这不是靠单次订单赚钱的功能,而是『高信任获客钩子』:一次凌晨救急建立的信任,带动该厂全年计划性 MRO 采购迁移到京东工业,账要用『入口价值 × 客户 LTV』算。壁垒是三层组合而非单点:结构化选型参数库 × 停产状态持续维护 × 前置仓履约网络——单点都可抄,组合只有京东工业有。飞轮带验证环:推荐 → 装机 → 售后信号(退货率、维修工单、7 天回访)→ 替代关系置信度更新,冷启动阶段诚实依靠厂商官方对照表 + 人工核定。
差异化本质先回答『京东工业是不是早就在做』:识图搜货、商品参数结构化是墨卡托已有能力,我们不重复造轮子——本方案是给墨卡托补上目前缺失的一层:停产判定 + 参数级替代推理,识别与搜索复用已有能力叙事,增量全部发生在『找不到同款之后』。与厂商官方替代查询工具(施耐德/西门子官网都有)的差异:官方工具只做表内查询、只推自家新系列;我们做表外推理——跨品牌无对照表时的参数级推导,以及没有完美替代时的取舍方案(孔距差 2mm + 转接板联动正是这种)。与套壳大模型的差异:油污铭牌照片丢给通用 Chat 输出乱码猜测,无商品库、无停产判定、无下单闭环;我们是 VLM 外观+残字联合推断 + 结构化参数逐项比对 + 数值代码硬校验 + 安全参数分级把关,输出的是敢让持证电工照着确认的工程结论,而不是聊天答案。

MVP 范围(七天砍法)

做(IN SCOPE)

  • 拍照识别链路(实时调用为主路径):手机 H5 拍坏件+铭牌,VLM 输出候选型号 + 可解释证据链(识别出哪些残字、外观命中哪些特征),不展示裸置信度百分比;只覆盖低压电器 3 品类(接触器/断路器/热继电器)
  • 停产判定 + 分级替代推荐:主演示型号经 D1 双重事实验证(京东自营 0 在售 + 厂商官网可截图停产公告);替代分两级标注来源——『厂商官方对照』与『AI 参数推理·需工程确认』;mock 商品库 80-100 SKU 深浅分层,20-30 组人工核定金标准零差错
  • 参数对比矩阵 + 安全分级:安全关键参数(分断能力/脱扣曲线/认证等级)不一致直接剔除不推荐;非安全参数差异标红 + 转接方案;矩阵点亮动画 30-40 秒节奏,冲突点(孔距 2mm)是主角;识别中间态可视化让评委看见 AI 在想什么
  • 评委互动环节:自带 4-5 个全部实测过的零件,请评委现场任选其一强制走实时链路;追加约束条件(线圈电压/认证/国产偏好)由评委现场出题,语音或文本输入,抽取约束后对候选真实重排
  • 模拟下单闭环:工程确认页(标注替代来源与复核建议)→ 一键下单 → 前置仓 4 小时达履约承诺展示(纯 mock,页面像真的)
  • 降级体系(非默认路由):实时链路超时/失败时自动切换预存的同模型真实输出,同一套流式渲染;操作手隐藏演示模式开关仅故障时按分镜指定零件;路演中主动摊牌降级设计

不做(OUT OF SCOPE)

  • 真实支付、真实履约、对接任何京东内部 API 或真实商品数据(诚实用 mock,叙事里写明)
  • 全品类覆盖——只做低压电器 3 类,其他品类在 PPT 里画路线图
  • 替代关系自动挖掘/图谱自动构建——roadmap 页给停产判定生产化三条数据来源方法论(官网公告爬取+LLM 抽取、分销渠道合作、站内信号推断),并附半天做出的爬取 pipeline 真实截图
  • 评委自带任意零件的开放测试——改为受控半盲测:评委从我们 4-5 个实测零件中任选,品类边界话术接住带件请求
  • 原生 App 开发——手机端用 H5 页面,讲『嵌入京东工业 App 的入口』
  • 用户账号、权限、订单管理等后台体系

技术架构

交互层 手机拍照页 对比矩阵大屏 评委出题入口 工程确认页 模拟下单页 拍照·语音·指令 编排层 识别流水线 替代分级引擎 降级路由 大屏事件推送 推理与检索调用 模型层 铭牌识别VLM 参数比对LLM 语音识别ASR 向量检索服务 参数查询与缓存 数据层 选型参数库 mock商品库 替代金标准 结果缓存库

架构图可左右滑动查看 →

  1. 维修工用手机 H5 拍摄坏件外观与铭牌上传;大屏是独立 web 页,经 WebSocket 订阅后端事件同步取景与全部动画(不做无线屏幕镜像)
  2. 实时链路调用 VLM 联合外观特征与铭牌残字推断,输出候选型号 + 证据链(残字命中/外观特征);超时或失败由降级路由自动切换预存的同模型真实输出,渲染无差别
  3. 型号归一化查 mock 商品库,命中停产标志(附厂商官网公告依据展示)
  4. RAG 从选型参数库检索在售候选结构化参数,LLM 做逐参数等效判断与风险文案,数值比对由代码对数据库原值硬校验,冲突以代码为准
  5. 参数安全分级:安全关键参数不一致的候选直接剔除;非安全差异标红并联动转接方案推荐;候选标注来源(厂商官方对照 / AI 参数推理)
  6. 前端矩阵逐格点亮渲染,识别中间态与推理依据可视化
  7. 评委现场追加约束(语音按住说话或文本快捷指令)→ LLM 抽取约束 → 对已有候选真实重排
  8. 工程确认页确认后模拟下单,展示前置仓距离与最快 4 小时达履约承诺

AI 设计

模型选型
  • Qwen-VL-Max(DashScope 多模态 API,铭牌+外观联合识别)
  • Kimi K2(Moonshot API,参数等效推理与风险文案)
  • Paraformer-v2(DashScope ASR,评委语音出题)
  • text-embedding-v3(DashScope,选型手册向量检索)
编排策略刻意不用自由 Agent,用固定三段流水线保演示稳定性,且实时调用是默认主路径、降级是异常分支。①识别段:VLM 单次调用同时输入铭牌与外观两图,few-shot 教『油污/残字下结合外观反推』(按体积和端子布局锁定电流档位),强制 JSON schema 输出候选型号+证据链字段;前端展示『匹配依据』(命中残字、外观特征)而非自报置信度百分比——self-reported confidence 不可校准,只报高/中档并列出建议人工复核字段。D1 设定量验收线:3 个演示零件 × 10 张不同光线角度照片 top-1 ≥80% 才走全自动叙事,不达标立即切降级剧本『AI 给 2-3 候选 + 维修工一次点选确认』,半自动同样 3 分钟闭环且更贴近真实产品形态。②替代段:RAG 检索结构化参数表,LLM 只负责等效性解释与风险文案;所有数值比对由代码硬校验,LLM 说勾但数值不等以代码为准;安全关键参数(分断能力/脱扣曲线/认证)不一致直接剔除候选,从机制上同时封死幻觉与安全责任。③约束段:评委出题的语音经 ASR 转文本并屏显确认,LLM 抽取约束(国产/价格/电压/认证)对已有候选重排,不引新检索;ASR 3 秒超时或错字自动切文本快捷指令兜底。降级路由的原则:预存内容全部是同一模型对同一零件的真实输出,仅在实时链路超时/失败时启用;操作手有隐藏演示模式开关按分镜指定零件,图片相似度匹配彻底移出关键路径(不把演示押在一个没排期的 CV 项目上)。路演话术主动摊牌:『现场是真调用,网络抖动时降级到预存的同模型真实输出——生产系统本来就该有降级设计』。
Mock 数据策略逼真的关键是『参数全真、只有商品字段是造的』,且所有评委可当场查证的事实点先用评委视角逐条查一遍。主演示型号 D1 双重验证后才准进脚本:①京东 App 搜完整料号自营 0 在售;②厂商官网有可截图停产公告——首选候选西门子 3TB/3TF 老系列(官方由 3RT/SIRIUS 替代,行业公知)及已换代国产老型号;施耐德 LC1-D25 因是现役在售 TeSys D 主力被明确剔除,停产公告截图进 PPT 备 QA。商品库 80-100 SKU 深浅分层:演示路径涉及的 50-80 个型号做全参数『深字段』,放弃自动提取、直接人工录入(2 人 × 2 天,每天 20 个,校招新人也稳);其余只填名称/图片/价格/库存『浅字段』撑列表观感。PDF 提取脚本降级为 VLM 辅助+人工复核的加速器而非依赖项;硬检查点:D1 晚交付首批 20 条核对过的参数供算法联调,做不到当晚全组转人工。人工核对火力集中在演示会露出的 20-30 条上做到零差错。20-30 组替代金标准由算法按电气等效规则逐组核定并预写风险注释。诚实叙事写进 PPT 与 QA:『演示数据为公开选型手册预制,验证的是 AI 推理能力;上线后接厂商数据源与墨卡托商品库』。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D1事实验证过关,契约冻结,PoC 达标最高优先级(排在 PRD 前):主演示型号双重事实验证(京东自营 0 在售+官网停产公告截图)+『评委可查证事实点』清单逐条核查;半天做『内部能力对照』页(墨卡托已有 vs 我们补的层);冻结 PRD 与 demo 叙事 v0;采购/借演示零件 4-5 个(按铭牌可读性分级)主流程线框图(拍照页→矩阵→工程确认→下单),定对比矩阵与识别中间态可视化的视觉方向VLM PoC 定量验收:3 零件 × 10 张多光线角度照片,top-1 ≥80% 走全自动叙事,不达标当天定案切半自动点选剧本;给演示零件建测试照片集接口契约(JSON schema)冻结写进共享文档;投屏架构冻结:大屏独立页 + WebSocket 事件驱动;前后端脚手架;数据组当晚交付首批 20 条核对过的参数数据,交不出全组转人工录入
D2假数据端到端骨架跑通带数据组核对深字段录入质量;细化 demo 分镜脚本(评委选件与出题环节写进分镜)拍照页与识别结果页(证据链展示样式)高保真稿交付前端识别 prompt 调优(油污/残字 few-shot),证据链结构化输出定型;深字段录入支援tracer bullet:hardcode 假数据打通『拍照上传→假识别→假矩阵→假下单』端到端骨架,当晚必须可演示;此后每天下班前主链路保持可演示,新模块只准热替换,禁止离线开发到 D4 再拼
D3替代引擎上活链路,矩阵首版逐组核对 20-30 组替代金标准与风险注释;开始路演 PPT 大纲(含内部能力关系图、责任边界页)矩阵逐格点亮动效规格(30-40 秒节奏,孔距红点为高光)+ 安全分级三态设计RAG 检索+参数比对 prompt 成型;数值硬校验与安全参数分级逻辑联调;真实识别模块热替换进活链路前端矩阵组件带动画+识别中间态可视化;后端停产判定/分级推荐/商品接口全通;数据组完成 50-80 型号深字段,D3 起逐步转投前端支援与测试
D4评委互动与下单闭环完成中午 checkpoint:主链路不稳即砍语音(语音是第一顺位可砍项,文本出题保留);PPT 初稿+QA 话术写死(覆盖面/实时性/安全责任/与墨卡托关系四大追问)工程确认页与前置仓履约承诺样式;PPT 视觉包装评委出题链路:ASR 屏显确认→约束抽取→候选重排,含 3 秒超时切文本兜底;开始识别稳定性矩阵实测评委选件流程、文本快捷指令、工程确认+下单 mock 页完成;降级路由(超时/失败自动切+隐藏演示模式开关)上线并热替换进活链路
D5全链路调稳,零件筛选与数据冻结演示脚本 v1 带零件走全程掐时间到 7 分钟内;确认评委互动环节的台词与交接动作全流程视觉细节打磨;大屏投屏比例适配模拟舞台光线下 4-5 个零件反复实测,筛出成功率 >95% 的进评委任选池;预存降级输出全部入库验证联调修 bug;大屏/手机双端适配;数据冻结只改错不加量
D6真投影仪彩排,兜底演练通过组织两轮全要素彩排收口台词;主讲+操作手分工固定;QA 话术全员过一遍根据彩排反馈微调 PPT 与界面文案故障注入演练:断网/识别超时/ASR 全错三种场景,确认自动降级与文本兜底切换无感;彩排必须接真实投影仪+播放展会环境音测语音本地部署+手机热点双链路验证;录制完整备份演示视频;feature freeze
D7代码冻结,终彩排后路演上午终彩排一遍即止;现场检查零件/手机/网络/停产公告截图备份PPT 终版导出多格式备份提前到场用路演场地实际光线最后实测一轮,确认评委任选池零件状态代码冻结只修 P0;一人专职现场技术保障(投屏/网络/服务),其余待命

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计1 人
算法组2 人
前端组(研发)3 人
后端组(研发)3 人
数据组(研发)2 人
产品组:一人管交付:PRD、每日站会、砍需求防蔓延,D1 最高优先级是主案例事实双重验证与『评委可查证清单』;一人管路演:demo 叙事、PPT(内部能力关系图/责任边界/roadmap 三页)、QA 话术,兼替代金标准人工核对——数据与事实质量是产品责任
设计:全流程 UI(拍照页/矩阵/工程确认/下单页)、矩阵点亮与识别中间态可视化动效规格、路演 PPT 视觉。原则:资源全押演示会露出的界面,后台一律不画
算法组:一人主攻识别:VLM prompt 调优、D1 定量验收、稳定性实测与评委任选池筛选、降级输出预存;一人主攻推理:RAG+参数比对+安全分级+数值硬校验、评委出题链路。两人共担 D5-D7 稳定性验收与故障注入演练
前端组(研发):手机 H5 拍照上传页、矩阵大屏组件与点亮动画、识别中间态可视化、评委出题入口与下单页、WebSocket 驱动的大屏独立页与双端适配。动画流畅度与中间态可视化是舞台效果的生命线
后端组(研发):识别/替代/商品/下单 API 编排、模型调用封装与重试、降级路由(超时自动切+隐藏演示模式)、WebSocket 事件推送、本地+云双部署与现场技术保障
数据组(研发):50-80 型号深字段人工录入(VLM 辅助提取仅作加速器)、80-100 SKU 商品库、替代关系录入核对工具、向量库。D1 晚交首批 20 条硬检查点;D3 起转投前端支援与测试

对抗性问答(评审攻防实录)

demo 高潮直接踩事实地雷:LC1D25 是施耐德现役 TeSys D 主力,京东自营此刻就大量在售,你还主动邀请评委查证——京东的评委打开自家 App 搜三秒就能戳穿,一个『专治停产找替代』的产品把自家货架上的在售品判成停产,识别、mock、专业度三重信誉当场一起崩,这不是减分,是问死。而且『停产→官方替代』撞厂商免费 substitution 工具,查表就能做的事凭什么说『只有推理能做』?
全盘吸收,方案改了三处:①LC1-D25 明确剔除,主案例换为 D1 双重验证过关的型号(首选西门子 3TB/3TF→3RT,行业公知的官方换代),进脚本的硬门槛写死为『京东自营 0 在售 + 厂商官网可截图停产公告』两条同时满足,公告截图进 PPT 备 QA;产品组 D1 的最高优先级任务(排在 PRD 前)是把所有『评委可当场查证』的事实点建清单、用评委视角逐条真查。②aha 从『官方替代』挪到官方工具做不了的两件事:跨品牌无对照表的参数级推导 + 无完美替代时的取舍方案,孔距 2mm+转接板从配角升为矩阵环节的主角。③demo 里官方对照候选与 AI 推理候选分栏标注,主讲主动点破『官方工具到自家新系列就停了,我们往前多走一步』,替评委把这题先问掉
整场 demo 没有一次评委可验证的实时 AI——识别走缓存回放、替代是人工预制金标准、数值比对以代码为准、语音只对预制候选重排,这是『现场拍照触发的录像回放』。评委只需问『现场哪一步是模型实时算的?我换个零件行不行?』而你们的预案是让校招新人在评审席面前背公关话术拒绝测试——拒绝的姿态本身就宣告 demo 是彩排好的魔术,完成度和诚信分双杀。
方案倒转了默认路径并把评委扰动设计进脚本:①实时调用改为主路径,缓存只做超时/失败的自动降级(预存内容仍是同一模型的真实输出),主讲提前摊牌『现场是真调用,网络抖动时降级到预存真实输出——生产系统本来就该有降级设计』,被问『是不是实时』能理直气壮答『是』;②新增评委互动环节:自带 4-5 个全部实测的零件请评委任选其一强制走实时链路,追加约束由评委现场出题(380V 线圈/CCC 认证),约束抽取和重排真跑模型;③QA 话术从『不能测』改成『可以测,这 3 个品类内您选』。受控半盲测把选择权真实交给评委——评委要的是『它真的会』,不是『它演得好』
『图片相似度命中缓存』这个兜底系统本身就是一个没排期的 CV 项目:阈值松了把零件 A 命中零件 B 的缓存,大屏播出和主讲手里实物对不上的结果,当场穿帮没有话术能圆;阈值紧了命中率低,兜底形同虚设。让校招新人 2 天调稳 embedding 匹配阈值,难度不低于调稳 VLM 本身——兜底比被兜底的东西更脆,这是方案里最讽刺的一环。
采纳,把 CV 问题降级成一个 if 语句:图片相似度匹配彻底移出关键路径;降级触发改为两种可靠机制——实时链路超时/失败的自动切换,以及操作手隐藏『演示模式』开关按固定分镜显式指定当前零件。回放内容与实时链路共用同一套流式渲染。且因为默认路径已改为实时调用,降级只是异常分支而非常规路由,播错零件的失败模式在机制上不存在了。D6 故障注入彩排专门验证切换无感
数据组产能测算完全不过关且是隐形关键路径:2 个校招新人 D1 写复杂 PDF 提取脚本、D2 灌 300+ SKU,2000+ 数据点的人工核对压在一个同时要写分镜 PPT 话术的产品身上;300 个 SKU 里 250 个永远不会出现在评委眼前,而招牌恰恰是『参数全真』——懂行评委在矩阵里抓到一个错参数,专业可信度连带『数值硬校验』的故事一起崩。7 天计划最先爆的暗雷埋在 D2 晚上。
砍规模+深浅分层:SKU 从 300+ 砍到 80-100,演示路径的 50-80 个型号做全参数深字段、放弃自动提取直接人工录入(2 人×2 天每天 20 个,新人也稳),其余浅字段撑列表观感;PDF 脚本降级为 VLM 辅助+人工复核的加速器而非依赖项;硬检查点 D1 晚交付首批 20 条核对过的参数供算法联调,交不出当晚全组转人工;人工核对火力集中在演示露出的 20-30 条上零差错;数据组 D3 起转投前端支援与测试,省出的人日投给识别中间态可视化——全场唯一能让评委看见 AI 在想什么的画面
D4 是计划里写死的爆炸日:13 个人并行开发 4 天后第一次对接口,JSON schema 对不齐、CORS、iOS Safari 的 H5 拍照兼容、手机-大屏状态同步,每个坑对新人以半天计,缓冲只有背着识别调稳任务的 D5 一天。8 个校招新人没人处理过多端联调,把『首次串联』放 D4 等于把集成风险全堆进最后 72 小时。
改 tracer bullet 节奏并写进 sevenDayPlan:接口契约 D1 冻结进共享文档;D2 晚 hardcode 假数据打通『拍照→假识别→假矩阵→假下单』端到端骨架,当晚必须可演示;此后每天下班前主链路保持可演示状态,新模块只准热替换到活链路,禁止离线开发到 D4 再拼;语音明确标为第一顺位可砍项(文本出题保留评委互动价值),D4 中午设 checkpoint 主链路未稳即砍。集成风险从 D4 一次性爆炸改为每天消化一点
VLM 识别效果没有 go/no-go 判据也没有 plan B,『置信度 92%』是让 LLM 自报的编造数字——self-reported confidence 不可校准是业内常识,懂行评委追问一句『92% 怎么算出来的』就露怯;而 D1 才第一次 PoC,模型出不来正确答案时缓存连内容都造不出来,整个叙事地基没了。
两处都改了:①D1 设定量验收线——3 个演示零件 × 10 张不同光线角度照片 top-1 ≥80% 才走全自动叙事,不达标当天切降级剧本『AI 读残字+外观给 2-3 候选 → 维修工一次点选确认』,半自动照样 3 分钟闭环且更贴近真实产品形态;②大屏撤下裸百分比,换成可解释证据链——识别出哪些残字、外观命中哪些特征(体积/端子布局→电流档位),只报高/中档并列出建议人工复核字段。证据链比编造的百分比更抗专业追问;演示零件 D1 采购时按铭牌可读性分级挑选
手机-大屏双端实时联动和现场 ASR 是两个被一句话带过的舞台工程:无线投屏在陌生会场是经典翻车点;路演现场混响+音箱回授+主讲紧张语速下 Paraformer 收一句口语指令翻车是大概率事件,而这 60 秒演的『要便宜国产→重排』是任何导购 chatbot 都会的动作——失败扣分、成功也不加分,期望收益为负,还是全案唯一没有兜底的裸奔环节。
投屏架构 D1 冻结:大屏是独立 web 页由 WebSocket 订阅后端事件驱动全部动画,手机不做屏幕镜像,大屏内嵌取景组件展示上传照片,彻底绕开无线投屏。语音环节没砍但换了灵魂:从『导购重排表演』改成『评委现场出题』——约束由评委给,它的价值从演功能变成证明实时性;工程降级配齐:按住说话+屏显转写确认+文本快捷指令一键兜底+3 秒超时自动切换,D4 午 checkpoint 主链路不稳则整段砍掉只留文本出题。D6 彩排两条硬规矩:必须接真实投影仪、必须播放展会环境音测语音
安全责任红线整个方案只字未提:接触器、断路器全是安全部件,断路器更是保护器件,替代选错是拒动/误动、火灾和设备烧毁。你们原话是输出『敢让人照着下单的工程结论』、『一键下单』直接闭环,没有工程师确认、没有免责设计。评委一句『AI 推荐的替代件装上后设备烧了,客户告京东工业,责任怎么划』当场哑口——这在 To B 工业品是比幻觉严重十倍的问题。
产品机制三处改造已写进 MVP 和架构 flow:①参数安全分级——分断能力/脱扣曲线/认证等级等安全关键参数不一致的候选直接剔除不推荐,只有非安全参数允许『标红+转接方案』;②下单前新增工程确认页,标注每个候选的替代来源(厂商官方对照 vs AI 参数推理)与建议复核字段;③QA 话术补责任边界:『平台提供选型辅助,安全关键替代仅采信厂商官方对照,最终由持证电工确认』。demo 矩阵里安全参数栏带『仅采信官方』标签,主讲在 aha 段顺势讲一句责任设计——To B 产品成熟度的加分项,不讲才是把柄
『京东工业是不是早就在做』这个必考题完全没答:方案自己反复引用墨卡托,说明知道内部有商品参数结构化和智能选型这条线,却不回答『你和它什么关系』。评委席大概率坐着京东工业的业务负责人,第一个问题就是『我们商品数字化团队已经做了参数结构化和以图搜货,你这是不是重复造轮子?』答不上来,前面 5 分钟演示效果全部清零。另外前 2 分半全在演拍立淘都会的『拍照→识别』,差异化声明被你们自己的时间分配背叛了。
两处一起改:①D1 前半天产出『内部能力对照』页(用官网/墨卡托通稿等公开资料),方案定位从『新产品』改写为『给墨卡托补上缺失的一层:停产判定+参数级替代推理』,识别与搜索明确讲成内部已有能力的复用,PPT 加一页复用/新建关系图,写进 differentiation 第一句抢答;②demoScript 开场 45 秒直接缴械:『拍照识别不是我们的创新,京东早就会,它只是入口,我们的戏从停产红字开始』,识别段压缩到 60 秒内,省下的时间全部押给停产后的替代推理和评委互动
商业故事内部打架,一句话能问死两次:开场立论『停机 1 小时损失 3 万』,收尾却承诺『次日 10 点送达』——按你自己的算法等于再停 30 小时损失近百万,真实维修工会打车去五金城当天买回来,核心场景被自己的履约承诺杀死。『图谱越用越准竞对抄不走』也经不起三连问:源头是公开手册人人可抄;下单≠替代正确,装上一周烧了平台收不到信号,飞轮没有验证闭环;demo 金标准是人工核定的,跟『自动沉淀』叙事对不上。
商业叙事整体重写:①履约对齐京东工业真实主打的前置仓网络,demo 下单页显示『距您 18km 前置仓有货,最快 4 小时达』——既圆停机账又踩中京东工业履约差异化,demoScript 4:30 段落明确回扣开场算账;②紧急找件重新定位为『高信任获客钩子』,账用入口价值 × 客户 LTV 讲,正面消化低频质疑;③壁垒改讲三层组合:结构化参数库 × 停产状态持续维护 × 前置仓履约网络,单点可抄、组合独有;④飞轮补上验证环:推荐→装机→售后信号(退货率/维修工单/7 天回访)→替代置信度更新,PPT 画完整闭环动效图,冷启动阶段诚实说明靠厂商官方对照+人工核定;⑤roadmap 页给停产判定生产化三条数据来源,附半天做出的官网公告爬取 pipeline 真实截图

路演脚本(5-8 分钟)

  1. 0:00-0:45开场算账+缴械:大屏一行字『产线停机 1 小时 = 损失 3 万元』,讲维修工半夜手握烧糊零件的困境。随即主动缴械:『拍照识别不是我们的创新,京东早就会,它只是入口——我们的戏从屏幕上那行停产红字开始』。把『套壳识图』的判词提前拆掉
  2. 0:45-1:45主讲掏出真实旧接触器(油污、铭牌残缺)举给评委看清。操作手现场拍照,大屏(WebSocket 同步,非屏幕镜像)60 秒内走完识别:中间态可视化展示证据链——命中哪些残字、外观锁定哪个电流档——判定西门子 3TB44,红字『该系列已停产』弹出,角标附厂商官网公告。停顿一拍:传统方案到这里就卡死了
  3. 1:45-3:15aha moment:分级替代出场——『厂商官方对照』的 3RT 新系列(价高货期长)与『AI 参数推理』的跨品牌正泰款并列,主动点破:『官方工具到自家新系列就停了,我们往前多走一步』。矩阵 30-40 秒快速连勾一致项,在孔距差 2mm 红点上停顿讲透:需转接板、已联动推荐——没有完美替代时的取舍方案才是主角。安全关键参数栏标注『仅采信官方对照』,顺势讲一句责任设计
  4. 3:15-4:30评委互动(可信度高光):请评委从桌上 4 个零件中任选一个,强制走实时链路现场识别;再请评委出一个约束条件(『要 380V 线圈的』『要有 CCC 认证的』),语音屏显转写确认后真实重排。选择权真实交给评委——『它真的会』比『它演得好』值钱
  5. 4:30-5:30闭环:工程确认页(标注替代来源、建议持证电工确认)→ 一键下单 → 『距您 18km 前置仓有货,最快 4 小时达』。回扣开场的停机账:4 小时达才救得了产线,这正是京东工业履约网络独有的组合拳
  6. 5:30-6:15商业价值 45 秒:紧急找件是高信任获客钩子,一次救急带动全年 MRO 采购迁移,账用入口 × LTV 算;壁垒是参数库 × 停产状态维护 × 履约网络三层组合;飞轮动效图展示带验证环的闭环(推荐→装机→售后信号→置信度更新)。主动亮牌:演示数据为公开手册预制、现场为真实调用+降级设计,与墨卡托的关系是补层不是重复
  7. 6:15-7:00收尾一句话:『我们把 3 天变成了 3 分钟,把停产死胡同变成了一次下单』。QA 按预写话术应对覆盖面/实时性/安全责任/与内部能力关系四类追问;被要求测评委自带零件时话术接住:『可以测,这 3 个品类内您选——桌上这几个都是您刚才可以任选的』+ 邀请会后共建数据

风险与预案

翻车点预案
现场识别翻车:舞台灯光、反光、角度导致 VLM 识别错误或超时,评委任选环节是真实时调用,翻车没有剧本可救四层防御:①D1 定量验收线(3 零件×10 照片 top-1≥80%)不达标即切半自动点选剧本,地基不赌运气;②评委任选池只放 D5 实测成功率 >95% 的零件;③超时/失败自动降级到预存的同模型真实输出,同一套流式渲染,且主讲已提前摊牌降级设计,切换不构成穿帮;④D6 故障注入彩排,操作手熟练掌握『换角度重拍』自然话术
事实性穿帮:主案例停产判定错误(如把在售型号判停产)、矩阵参数录入错误,被懂行评委当场抓住,专业可信度连带『参数全真』招牌一起崩D1 最高优先级的双重验证流程(京东自营 0 在售+官网停产公告截图)作为进脚本的硬门槛,LC1-D25 已因现役在售被剔除;『评委可查证事实点』清单逐条用评委视角真查一遍;人工核对火力集中在演示露出的 20-30 条参数上零差错;数值比对由代码对数据库原值硬校验,安全关键参数不一致直接剔除候选,机制封死 LLM 打错勾
集成塌方:多端(手机/大屏/后端/模型)并行开发到后期才拼装,JSON 对不齐、CORS、iOS H5 拍照兼容等新人深坑集中爆发tracer bullet 节奏:接口契约 D1 冻结,D2 晚假数据端到端骨架跑通,此后每天下班主链路必须可演示、新模块只准热替换;语音是第一顺位可砍项(文本出题保留互动价值),D4 午 checkpoint 决策;大屏用 WebSocket 事件驱动的独立页,彻底绕开无线投屏这个经典翻车点
现场网络/收音不稳:会场 WiFi 拥堵导致 API 超时,混响与音箱回授导致 ASR 全错手机热点+会场网络双链路一键切换;核心路径预存输出可离线回放;语音按住说话+屏显转写确认+文本快捷指令一键兜底+3 秒超时自动切换;D6 彩排硬规矩:必须接真实投影仪、必须播放展会环境音测语音;D6 录完整备份视频,预设自然切换台词
7 天范围蔓延:新人团队中途想加『比价』『多品类』等点子,主链路做不完;或数据组在录入上超支拖垮 D3 下游outOfScope 清单 D1 冻结公示,PM 每日站会只砍不加;SKU 砍到 80-100 深浅分层,D1 晚首批 20 条硬检查点未达标当晚全组转人工;D5 数据冻结、D6 feature freeze;新点子进 PPT roadmap 页——讲出来加分,做出来翻车
05
零售:直播切片AI剪辑/二创工具产品设计

切中要害

每一个购买疑虑,都有主播亲口回答

为什么是它:零售线代表、业务视角并列全场最高的 8.5 分:全场唯一回答了'切片剪出来给谁看、解决什么转化问题'的队——把'主播亲口回答疑虑的 20 秒'钉回商详问答区,直接踩在京东对抖音/拼多多的信任壁垒(评价问答)上,'直播没讲到的疑虑反哺下一场脚本'的飞轮会让懂业务的评委眼前一亮,撞车风险全场最低。技术链路(ASR+embedding 召回+LLM rerank+ffmpeg)无实时风险,可行性 4。同赛题的 clip-tool-1 被演示评委判'安全地输'(盯进度条发呆)、clip-tool-2 被可行性评委一票否决,它是该赛题风险收益比最优解,且'洞察型 demo'与前四个实物/大屏形态互补。 本方案初稿经三路对抗评审 18 条质疑(高 9 / 中 9)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户B 端:京东自营/POP 店铺中做店铺自播的直播运营与商详运营(MVP 明确限定自播场景——自播回放商家拥有完整权利,零授权障碍;达人代播的切片授权+分佣列入商业化二期)。坐拥每周多场回放却不知道剪什么、给谁看。间接服务 C 端下单前带疑虑的消费者。产品归宿定位为京麦商家后台插件(或直播中台自动化能力),评委视角下真正买单的是京东零售的直播与转化业务线。
核心场景空气炸锅店铺自播结束次日,回放已自动同步进京麦插件『切中要害』(演示环境为自建 mock,页面常驻模拟数据水印):系统夜间完成 ASR 转写建索引,并从该商品评价/问答区聚类出 30 个高频购买疑虑(粘不粘锅、噪音、清洗、容量)。运营打开工作台,点击『清洗麻烦吗』,右侧秒级定位到回放 00:23:41,预览预渲染好的 18 秒主播拆洗演示片段(字幕高亮『内胆一冲就掉』关键句);片段已过合规审查节点(无绝对化用语/功效违规声称,强制附原片上下文跳转防断章取义),运营确认后一键发布到商详『官方答疑』视频区(带『商家官方演示』标识,与 UGC 问答分区展示)。消费者搜『清洗』看到的不再是客服文字模板,而是主播真人演示视频。最后运营看覆盖看板:24 个疑虑已有视频答案,6 个直播没讲到的标红,系统已生成下场直播补充话术脚本;看板同时显示本场审核总用时 15 分钟——看完回放要 3 小时,审核疑虑卡只要 15 分钟。
价值主张把直播从一次性流量场变成信任资产生产车间。第一笔账是可现场演示的时间账:运营看完一场回放要 3 小时,审核 30 张疑虑卡只要 15 分钟(看板给每张卡挂审核用时);第二笔是转化账:主播真人演示替代客服文字模板,按公开行业基准×保守渗透率假设给出区间估算,并降客服重复答疑成本。『未覆盖疑虑反哺下一场脚本』形成内容飞轮;回放、评价、问答三样全是京东自有数据资产,店铺自播场景接入零授权障碍。
差异化本质对标对象不是外部剪辑工具,而是平台内已有能力:淘宝直播『看点回放』做了关键词跳时间点,抖音电商有『讲解片段』自动切片挂车,京东言犀有智能切片产品线——它们全部是供给侧顺向切:以商品/高光为单位切,按播放量考核,产物去公域投流。我们收窄到它们确实没有的两点:①以商详评价/问答挖出的『购买疑虑』为索引单位的需求侧 taxonomy——回答『剪出来给谁看、解决什么转化疑虑』;②覆盖度审计+未覆盖疑虑反哺下场直播脚本的闭环,评价指标从播放量换成疑虑覆盖率与转化。姿态是补链路而非抢地盘:如果内部已有切片能力,我们是给它加一个疑虑索引层与商详回填出口,集成而非替代。与套壳大模型的差异:核心是『疑虑聚类→跨模态时序定位→判答验证(带弃答机制)→句边界切点精修→合规审查』整条流水线加自建双源评测集,不是调一次 LLM。

MVP 范围(七天砍法)

做(IN SCOPE)

  • 单品类单商品闭环:自有品牌『炸得快』空气炸锅、40 分钟剧本化自拍店铺自播回放、200+ 条 LLM 生成评价(含 30-40 条带图评价),做深不做广
  • 疑虑聚类:评价/提问 → 30 张高频疑虑卡(离线批处理,人工校对)
  • 核心检索链路:疑虑改写 → embedding 召回 → LLM 判答 rerank(强制引用转写原句作证据+置信度阈值弃答机制)→ 句边界切点 → 离线预渲染 15-25 秒带高亮字幕切片
  • 合规审查节点:违禁词/绝对化用语/功效声称检测,切片强制附原片上下文跳转链接;落点为商详『官方答疑』视频区(带商家官方标识,与 UGC 问答分区)
  • 覆盖看板:30 疑虑×已答/未答矩阵+每卡审核用时统计+未覆盖疑虑自动生成下场直播补充脚本
  • 现场实时提问通道:实时检索+预渲染播放(现场只走改写→召回→rerank→返回预剪片段,3-5 秒),弃答时走『未覆盖→反哺脚本』正式分支

不做(OUT OF SCOPE)

  • 不做多商品/多场直播规模化管理后台,不做账号权限体系
  • 不对接京东真实数据、不爬京东页面、不伪造任何京东内部系统截图;全部 mock、界面常驻『模拟数据』水印、声明前置到演示开始前
  • 不做达人/MCN 代播切片(版权授权+分佣机制列入商业化二期路线图),MVP 只做店铺自播
  • 不做像素级复刻京东 UI,只做版式结构相似+自有品牌视觉;不做切片美化包装(花字/BGM/竖版),只做字幕高亮
  • 不训练画面级视觉检索模型;VL 仅在离线预渲染管线抽帧校验,不进现场实时链路
  • 不做 C 端 App/小程序,不做实时直播流处理,只处理回放文件

技术架构

交互层 高仿商详页 官方答疑视频区 疑虑答案工作台 覆盖度看板 脚本建议卡 疑虑查询请求 编排层 疑虑聚类服务 检索重排流水线 切点精修器 切片预渲染服务 合规审查器 模型推理调用 模型层 语音转写模型 向量嵌入模型 判答重排大模型 视觉抽帧校验 索引与缓存读写 数据层 转写时间戳索引 评价提问语料库 预渲染切片缓存 双源评测集

架构图可左右滑动查看 →

  1. 运营点击疑虑卡『清洗麻烦吗』(或评委现场从提问卡输入新疑虑)
  2. LLM 将疑虑改写成 3 个口语化变体并向量化,从转写时间戳索引召回 Top20 候选窗口
  3. 判答 rerank:强制引用转写原句作答案证据并输出置信分,附实体词规则校验;低于阈值弃答,走『未覆盖→生成下场脚本』分支
  4. 命中则按片段 ID 返回离线预渲染切片(句边界对齐+前后半句缓冲),现场链路端到端 3-5 秒
  5. 离线预渲染阶段完成重活:VL 抽帧校验画面与答案一致、ffmpeg 剪辑+烧制关键句高亮字幕,不占现场延迟
  6. 合规审查:违禁词/绝对化用语/功效声称检测,切片强制附原片上下文跳转链接
  7. 运营审核通过后发布到商详『官方答疑』视频区(带商家官方标识),覆盖看板与反哺脚本同步更新

AI 设计

模型选型
  • Whisper large-v3 / DashScope Paraformer(ASR 转写,词级时间戳,转写后人工校对兜底)
  • BGE-M3 开源 embedding(疑虑-转写段跨口语语义召回)
  • Qwen-Max 或 DeepSeek-V3 API(疑虑聚类、判答 rerank、摘要卡、反哺脚本、合规检测、mock 评价生成)
  • Qwen2.5-VL API(离线预渲染阶段抽帧校验画面是否在演示,不进实时链路)
编排策略RAG 为骨、预渲染保演示、双源评测为纲:①离线管线——回放 ASR 转写(领夹麦+禁 BGM 的拍摄规范保底,转写后抽检人工校对到时间戳误差±0.5 秒内)切成带时间戳滑窗入向量库;评价/提问聚类归纳成疑虑卡;全部 ASR 句边界组合的候选片段离线预剪+VL 校验+烧字幕,存预渲染切片缓存。②在线检索——只做轻量三步:LLM 改写 3 个口语变体提升召回、embedding 取 Top20、强 LLM 判答 rerank;rerank prompt 强制要求引用转写原句作证据并输出置信分,附『答案须含疑虑对应实体词』规则校验,低于阈值一律弃答走『未覆盖→反哺脚本』分支——弃答是正式功能不是事故出口。现场延迟 3-5 秒。③切点精修——句边界对齐+LLM 标答案起止句+规则兜底 15-25 秒;demo 主打 6 案例另备人工硬编码时间戳 Plan B(剧本自己写的,分秒本来就知道),算法达标走算法、不达标走硬编码。④双源评测——自制素材 40 条人工标注(标注换手:写剧本拍素材的人不许标),另从 B 站等合规来源拉 1-2 段真实带货长视频标 10 条外部验证集,每日跑 Recall@3 与切点 IoU,技术页并排展示『自制 vs 野生』双栏指标,主动讲泛化边界。不引入自主 Agent 循环,全部确定性流水线,演示可控。
Mock 数据策略三层逼真策略+声明前置:①评价数据——人工手抄 30 条公开电商语料真实空气炸锅评价做 few-shot 种子,LLM 按京东字段结构(脱敏用户名样式、会员等级、购买日期分布、追评、点赞长尾)生成 200+ 条,注入口语噪声(错别字、方言、表情、客服抱怨),人工抽检 30% 剔 AI 腔;拍摄现场顺手用手机拍 20+ 张产品细节图(炸篮、油渍、包装箱)混入,补足 30-40 条带图评价——纯文字评价区在内行评委眼里一秒穿帮。②直播素材——剧本反向设计 24 个疑虑点(Day1 上午定稿,砍掉 35 个的野心),每个配实物演示动作(测分贝、白纸擦内胆、称重对比)保证画面可验证;拍摄规范写进验收标准:领夹麦收音、禁背景音乐(BGM 是 ASR 杀手,直播氛围用画面里的手机弹幕道具营造)、语速比真实带货慢 10%;Day1 下午抢拍 12 个核心桥段、Day2 补齐至 40 分钟,中间穿插闲聊催单制造真实信息密度,刻意留 6 个疑虑不讲为反哺环节埋钩子;demo 话术全部使用素材内真实存在的时间戳(如 00:23:41),不编造 01:47:12。③界面——版式结构相似+自有品牌『炸得快』,所有页面常驻『模拟数据』小字水印;开场痛点证据用自建 mock 客服工作台统计面板(纳入声明清单),绝不伪造京东内部系统截图;诚实声明前置:演示开始前一句『以下全程为自建模拟数据环境、字段版式对齐京东』,技术页再展开字段对齐表。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D1剧本定稿核心桥段抢拍完成上午定 24 个疑虑点剧本与拍摄验收标准(领夹麦/禁 BGM/语速),下午盯拍摄逐段验收;晚间与后端共同锁定四接口 API contract(疑虑列表/检索定位/片段播放/发布答疑区)商详页与工作台高保真开画,确定视觉基调;下午支援拍摄布景与画面美术搭 ASR+embedding 管线;定义双源评测集 schema 与标注规范(标注换手原则);晚间拿 Day1 抢拍素材立即转写试跑验收报名日已采购道具(空气炸锅/分贝仪/领夹麦/背景板);数据组下午抢拍 12 个核心桥段;后端当晚起返回假数据的 mock server;前端对 contract 搭脚手架开发
D2素材拍齐转写校对入库监督补拍逐段验收信息密度,确认 6 个留白疑虑;开始细化 demo 故事线交付商详页/工作台全套设计稿(版式相似+自有品牌,不做像素级复刻)全量 ASR 转写+建索引;抽 5 分钟人工比对时间戳,误差超 ±0.5 秒即启动全量人工校对(40 分钟素材 2 人半天);非拍摄人员开标 40 条评测集数据组补拍剩余 12 桥段至 40 分钟+现场拍 20+ 张带图评价素材;200+ 条评价(含带图)定稿入库;后端接 ASR/embedding 离线管线;前端商详页静态版(含官方答疑视频区)
D3检索链路跑通前后端首联用评测集盲测 10 条疑虑定位结果,记录 badcase;确认主打 6 案例候选切片播放器与字幕高亮样式细化(基于开源播放器),看板视觉稿召回+rerank+弃答阈值全链路调通,首跑 Recall@3 基线;从 B 站等合规来源拉 1-2 段真实带货长视频,标 10 条外部验证集后端联通检索 API+切片预渲染管线(全部句边界候选片段离线剪好入缓存);前端晚间换 baseURL 与真实后端首次联调;数据组转岗标注与 badcase 归因,留 1 人挂『补拍随叫随到』至 Day4
D4切点达标六案例逐条验收路演叙事结构初稿;主打 6 案例人工逐条验收,每条同步备好硬编码时间戳兜底覆盖看板+反哺脚本卡+合规标识实现走查主攻切点精修:句边界对齐+IoU 调优+弃答阈值标定;外部验证集出『自制 vs 野生』双栏指标全链路打通:点疑虑→定位→播片→合规审查→发布官方答疑区;badcase 补拍收尾;后端接看板数据
D5看板上线全链路代码冻结路演讲稿 v1 计时试讲;制作评委商品参数卡+10 题候选提问卡(半数不在预设疑虑列表);前置声明话术定稿路演 PPT(含竞品对照表页、双栏指标页)+大屏演示布局实时通道实测压到 3-5 秒;冻结模型参数与弃答阈值;写好降级开关(缓存兜底)看板+反哺脚本+审核用时统计上线;晚间代码冻结;数据组制作兜底录屏素材清单
D6端到端演练恶意评委压测组织两轮内部试讲;专人扮恶意评委连问 5 个素材外问题,验证弃答分支优雅可讲;按反馈砍内容PPT 定稿,演示环境大屏适配调试全量回归双源评测;降级开关与弃答分支演练全天端到端演练修 bug(冻结后只修 showstopper);备用笔记本部署离线环境(本地 whisper+本地向量库可脱网跑核心路径);录制全流程兜底视频
D7彩排三遍事故预案就绪带队彩排三遍掐表,敲定谁讲谁操作谁待命;核对声明与水印无遗漏现场物料检查,演示分辨率/字号最终确认现场网络实测 API 延迟,确认降级预案一键切换值守环境不再改代码;演练断网/API 挂掉两种事故切换流程

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计1 人
算法组2 人
数据素材组(研发)2 人
后端组(研发)3 人
前端组(研发)3 人
产品组:1 人管需求、demo 故事线、评测盲测验收与 6 案例逐条签收;1 人管路演讲稿、商业测算(时间账为主账+转化账保守口径)、竞品对照研究(看点回放/抖音讲解/言犀切片各截图研究并备 30 秒标准回答)与对外答辩
设计:商详页/工作台/看板全套 UI(版式相似+自有品牌)、官方答疑区与合规标识样式、字幕与摘要卡样式、路演 PPT、直播拍摄画面美术
算法组:核心检索-rerank-切点流水线、弃答阈值机制与双源评测集(自制 40 条+野生 10 条),Day1 起专注『疑虑→片段』精度这条命根子;兼管切片预渲染缓存与实时通道降级开关
数据素材组(研发):Day1-2 主责 mock 评价生成管线(含带图评价)与 40 分钟直播拍摄剪辑入库、ASR 人工校对;Day3 起转岗评测标注、badcase 归因、兜底录屏,其中 1 人挂『补拍随叫随到』职责至 Day4
后端组(研发):Day1 晚锁 API contract 并起 mock server;服务骨架、向量库、ASR/embedding 离线管线、检索 API、切片预渲染服务、合规审查节点、看板与反哺脚本接口、演示环境与备用机部署
前端组(研发):全程对 mock server 开发:高仿商详页(版式相似即可)、官方答疑视频区、疑虑工作台、切片播放器(成熟开源方案+字幕轨,禁止手写 video 控制逻辑)、覆盖看板、演示动效与大屏适配

对抗性问答(评审攻防实录)

Day2『直播素材拍摄完成』是全方案单点故障且不可压缩:35 个桥段一天拍完、道具没人采购、数据组转岗后补拍人力凭空消失,Day4 切点达标+前后端联通+补拍三件事同天汇聚——Day4 就是这个计划的必然爆炸日。
计划已重排:剧本砍到 24 个疑虑点(20+ 足够 demo),Day1 上午定稿、下午即抢拍 12 个核心桥段,算法组 Day1 晚就拿真素材开工,评测标注提前一天;道具(空气炸锅/分贝仪/领夹麦/背景板)报名日采购、Day1 验收;数据组 Day3 转岗后显式保留 1 人挂『补拍随叫随到』至 Day4;Day4 三件汇聚事项已拆开——前后端 Day1 晚锁 API contract、后端当晚起 mock server、Day3 晚换 baseURL 首联,Day4 只专注切点精度。
现场实时提问是给自己埋的最大雷:rerank+VL 抽帧+ffmpeg 烧字幕现场 30-60 秒起步,『延迟<10 秒』纯属自我安慰;更致命的是 LLM rerank 假阳性——评委问『保修几年』时系统强行返回讲清洗的片段硬答保修,牛头不对马嘴比卡死难看十倍,而方案通篇没有弃答设计,『话术引导评委』约束不了任何人。
实时通道已重构为『实时检索+预渲染播放』:Day3 起全部句边界候选片段离线预剪入缓存(VL 校验与 ffmpeg 烧字幕全部移入离线管线,路演技术页照讲),现场只走改写→召回→rerank→返回片段 ID,实测目标 3-5 秒。弃答机制已成正式功能:rerank 强制引用转写原句作证据+输出置信分+实体词规则校验,低于阈值一律走『未覆盖→生成下场脚本』分支并彩排成演示亮点。互动改『受限自由』:发评委商品参数卡+10 题候选提问卡(半数不在预设疑虑列表但素材讲过),既保留冲击力又锁命中率;Day6 专人扮恶意评委连问 5 个素材外问题压测。
切点精度风控全是『怎么测』没有『不达标怎么办』,Plan B 是空白;而且素材是照剧本反向拍的、评测集也标在这份素材上——『你们的 Recall@3 是在自己写剧本自己朗读自己标注的数据上测的,这条曲线能说明什么?』评测驱动叙事在评委眼里就是循环论证、自己出题自己考。
两手都补硬了。Plan B:demo 主打 6 案例切点直接备人工硬编码时间戳——剧本是自己写的,每个疑虑在第几分几秒本来就知道,算法达标走算法、不达标走硬编码,观众无法区分,这正是 mock 数据的隐藏福利。循环论证:Day3 从 B 站等合规来源拉 1-2 段真实第三方带货长视频,标 10 条外部验证集跑同一条链路,标注换手(写剧本拍素材的人不许标),技术页并排『自制素材 vs 野生素材』双栏指标——真实素材上掉到 70% 也比单一的 95% 可信十倍,主动讲失效模式与改进方向,把评委最锋利的问题变成技术页加分项。
拿『剪映一起剪』当靶子是打稻草人。淘宝看点回放几年前就做了『点关键词跳回放时间点』,抖音有讲解片段自动切片挂车,京东自家言犀就有智能切片产品线——评委一句『这跟看点回放有什么区别』『内部中台在做的东西为什么要新人重做』就能让创新性当场归零,而整份讲稿没有一个字回应平台内竞品。
differentiation 已全文重写,靶子换成看点回放/抖音讲解/言犀切片,PPT 加一页竞品对照表并逐个截图研究、各备 30 秒标准回答。差异收窄到它们确实没有的两点:①以评价/问答挖出的购买疑虑为索引单位的需求侧 taxonomy(它们全是供给侧顺向高光切、按播放量考核);②覆盖度审计+未覆盖疑虑反哺下场脚本的闭环。demo 时间随之重配:看板环节扩容为主菜(3:00-4:30),定位播片压缩为前菜。答辩姿态定为『给内部切片能力补一个疑虑索引层与商详回填出口,集成而非替代』——补链路不抢地盘。
关键数字证据互相打架且都是编的:素材只有 35 分钟,『01:47:12』这个时间戳物理上不存在,进度条一露就穿帮;开场『客服后台被问 872 次』是一张伪造的京东内部系统截图,评委天天看内部系统一眼识破,而诚实声明拖到 4:15 才说——前 90 秒人设当场爆炸,之后的坦白都成了嫌疑人辩解。
两处已根治。伪造截图删除:开场痛点证据改为自建 mock 客服工作台统计面板,角落常驻『模拟数据』水印并纳入声明清单——绝不在京东人面前伪造京东内部系统。时间戳统一口径:全部话术改用素材内真实存在的 00:23:41,卖点从『3 小时捞针』改为『疑虑散落各处的信息密度』,两头都占的数字全部清除。诚实声明拆两段前置:0:45 演示开始前一句『以下全程为自建模拟数据环境、字段版式对齐京东』,技术页再展开字段对齐表——说在前面是严谨加分,说在后面是补救。
『一键钉到问答区』直接踩平台治理红线:京东『问大家』的信任根基是回答者为已购真实用户,把商家营销视频塞进 UGC 场域等于往消费者最后一道信任关口里塞广告,商家自问自答是平台明令处罚的违规行为;流水线里连一个内容合规节点都没有,18 秒切片断章取义『不粘』谁担责?治理和法务这关怎么过?
落点已改:从 UGC 问答区改为商详『官方答疑』独立视频区,带『商家官方演示』标识、与 UGC 问答分区展示(对齐已有的官方客服回复先例),备选路径为京小智客服会话自动推送视频答案卡——正好接上客服降本那笔账。流水线新增合规审查节点:LLM 检测违禁词/绝对化用语/功效声称,切片强制附原片上下文跳转链接防断章,并在路演里当卖点讲『每条切片过合规审查后才可上架』——把致命伤翻转成对平台生态的敬畏。前端改造量极小,本来就是自己画的页面。
两笔商业账全立不住:『点击-下单转化提升』没有一个 C 端用户、没有一次 A/B,纯属想象;唯一具体的数字 872 还是编的;问答区渗透率多少、CTR 基准哪来、客服工单里售前疑虑占比多少,锚点全悬空。若精度不够运营还要逐条核对,『这工具和一个带时间戳的搜索框有什么区别?』
商业叙事主账已换成可现场演示的时间账:看板给每张疑虑卡挂审核用时,『看完回放 3 小时 vs 审核 30 张卡 15 分钟』直接在 demo 里演出来。转化账降为第二笔,三段式保守口径:公开行业基准(视频化答疑 vs 图文)×保守假设的问答区渗透率×敏感性上下界,并主动坦白『三个数里最不确定的是渗透率,接真实数据两周 AB 就能验证』。精度追问备标准答案:亮真实调优曲线+『低置信自动弃答转人工』的产品设计,承认精度上限、展示兜底,比吹全自动可信。
8 个校招新人的联调时间是纸面数字:像素级复刻京东商详页对熟手都是 3-4 天,前端 Day1-3 在猜后端接口开发,Day4 才第一次联通、Day6 就冻结,真正集成窗口不足 2 天——跨域、seek 精度、字幕时间轴,每个坑都能吃掉半天,计划里没有任何一天写着 API contract 冻结。
Day1 晚前后端负责人锁定四接口 API contract(疑虑列表/检索定位/片段播放/发布答疑区),后端当晚起返回假数据的 mock server,前端全程对 mock 开发,Day3 晚联调变成『换 baseURL』而非『第一次见面』。商详页从像素级复刻降级为『版式结构相似+自有品牌视觉』——评委看 5 分钟路演不会拿尺子量,省下的人天调给真正上镜的播放器和字幕高亮。播放器强制用成熟开源方案+字幕轨,禁止新人手写 video 控制逻辑。代码冻结提前到 Day5 晚,Day6 变成完整一天的端到端演练+修 showstopper。
ASR 词级时间戳是整条链路的地基,但计划里没有任何验收环节和预案——Whisper 在中文带货口语上时间戳漂 1 秒,下游句边界再准也是白搭;同时 200 条纯文字评价缺了京东评价区最显眼的带图评价,满屏纯文字在内行评委眼里一秒穿帮。方案对『素材是自己拍的、可以人工校对到零误差』这个最大隐藏优势视而不见。
两处都已写进计划。ASR:拍摄规范进 Day1 剧本验收标准——领夹麦收音、禁止 BGM(直播氛围用画面里的手机弹幕道具营造)、语速比真实带货慢 10%;Day2 转写后新增『ASR 验收』步骤,随机抽 5 分钟人工比对,时间戳误差超 ±0.5 秒即启动全量人工校对(40 分钟素材 2 人半天可校完),demo 走校对后索引、原始 ASR 指标留作技术页素材。带图评价:Day2 拍摄现场顺手用手机拍 20+ 张产品细节图(炸篮、油渍、包装箱)混入评价区,补足 30-40 条带图评价,成本半小时、逼真度翻倍。
『零冷启动』『三样全是京东自有数据资产』在最主流场景下不成立:POP 直播大量是达人/MCN 代播,回放版权和肖像权不属于商家——『某头部主播的切片你敢挂商详页吗?授权谁签的?』另外『运营周一上传回放』暴露了对京东系统的隔膜:商家在京东开播回放本来就在平台里,根本不存在上传;这产品卖给谁、部署在哪、运营为什么愿意多开一个后台?
已主动收窄并给出落地形态。场景分层:MVP 明确限定店铺自播——自播回放商家拥有完整权利,零授权障碍;达人代播设计『切片授权+分佣』机制(行业已有跑通先例)列入商业化二期路线图,PPT 一页讲清 TAM 分层,把授权问题从被动挨打变成主动展示的商业化设计。产品归宿:定位为京麦商家后台插件(或直播中台自动化能力),叙事从『运营上传回放』改为『直播结束回放自动同步、疑虑答案自动生成,运营只做一键审核上架』——操作成本从『多用一个工具』压到『每周审核 15 分钟』,demo 流程不改只改讲法:现在演示的工作台就是京麦里的一个 tab。

路演脚本(5-8 分钟)

  1. 0:00-0:45痛点开场+前置声明:展示自建 mock 客服工作台统计面板(角落常驻『模拟数据』水印)——同一个『清洗麻烦吗』在评价问答区几十条同义追问长尾滚动。一句话立论:行业都在卷『把直播剪好看』,没人回答『剪出来给谁看』——消费者的每个疑虑主播其实都亲口答过,只是埋在回放里没人找得到。随即一句声明:以下全程为自建模拟数据环境,字段版式对齐京东真实结构。
  2. 0:45-2:00核心演示:大屏打开高仿商详页,评价区滚动 200+ 条含晒图的真实感评价。点击疑虑『清洗麻烦吗』,秒级定位到回放 00:23:41,自动播放 18 秒主播拆洗演示(关键句字幕高亮),展示合规审查通过标记与原片上下文跳转,一键发布到『官方答疑』视频区(带商家官方演示标识)——消费者视角刷新页面,客服文字模板变成主播真人演示视频。
  3. 2:00-3:00Aha 时刻:递给评委一张『炸得快』商品参数卡+10 题候选提问卡(其中一半不在预设疑虑卡列表但素材讲过),请评委任选或自由发挥。系统实时检索 3-5 秒返回预渲染片段——强调关键词完全对不上、纯语义定位。若评委问到素材未覆盖的问题,系统显式弃答并现场生成下场直播补充脚本——兜底分支本身就是功能演示。
  4. 3:00-4:30主菜升维:切到覆盖看板——一场直播拆成『30 个疑虑→24 个视频答案』,6 个未覆盖标红并点开系统生成的下场话术脚本,内容飞轮转起来;看板同屏亮出审核用时账:看完回放 3 小时 vs 审核疑虑卡 15 分钟。随后一页竞品对照表:淘宝看点回放/抖音讲解片段/言犀切片全是供给侧顺向切、按播放量考核;我们是需求侧疑虑索引+覆盖审计反哺,给内部切片能力补一个疑虑索引层与商详回填出口——集成而非替代。
  5. 4:30-5:15技术与诚实展开:一页流水线图讲 ASR→召回→判答 rerank(引用原句证据+置信弃答)→句边界切点→VL 校验→合规审查。亮双源评测:自制素材 40 条 vs B 站真实带货素材 10 条的 Recall@3 与切点 IoU 双栏对比,主动讲真实素材上的失效模式与改进方向。展开字段对齐表:数据全模拟,但链路对真实数据零改造。
  6. 5:15-6:15商业账与落地:主账是刚才演过的时间账;第二笔转化账用公开行业基准(视频化答疑 vs 图文)×保守渗透率假设×敏感性上下界,坦白最不确定的是渗透率、接真实数据两周 AB 即可验证。产品归宿:京麦商家后台插件,回放自动同步、运营只做一键审核上架;一期店铺自播零授权障碍,二期达人切片授权+分佣。回放/评价/问答全是京东自有数据资产,钉进京东的信任壁垒。
  7. 6:15-7:00收尾:回扣开场那条被反复追问的疑虑——现在它有了主播亲口的 18 秒回答。Slogan 定格:切中要害——每一个购买疑虑,都有主播亲口回答。留 1 分钟弹性给评委追问(竞品/精度/合规三类追问已备 30 秒标准回答)。

风险与预案

翻车点预案
切点精度不达标:切出的 18 秒不构成完整回答,差 3 秒就露馅评测驱动之外备硬 Plan B:demo 主打 6 案例每条人工硬编码时间戳(剧本自己写的,分秒本来就知道),算法达标走算法、不达标走硬编码,观众无法区分;双源评测集每日跑 Recall@3+IoU 回归;句边界对齐+前后半句缓冲规则兜底;实时通道之外全部走人工验收过的预渲染路径
拍摄延期或素材质量塌:Day2 素材未齐则 Day3-4 连环塌方拍摄提前至 Day1 下午抢拍 12 个核心桥段,算法组当晚即有真素材开工;剧本砍到 24 个疑虑点降低野心;道具报名日采购、Day1 验收;数据组 Day3 转岗后保留 1 人挂『补拍随叫随到』至 Day4;拍摄规范(领夹麦/禁 BGM/慢 10%)写进 Day1 验收标准,Day2 转写后人工校对时间戳到 ±0.5 秒内
现场实时提问翻车:评委问素材外问题触发 rerank 假阳性,答非所问比冷场惨十倍rerank 强制引用转写原句作证据+置信阈值+实体词校验,低于阈值显式弃答走『未覆盖→反哺脚本』正式分支并彩排成亮点;现场链路只做检索+预渲染播放,延迟 3-5 秒;发评委参数卡+10 题候选提问卡把提问自然锚定在功能域;Day6 专人扮恶意评委连问 5 个素材外问题压测弃答分支
演示环境事故:断网、API 挂、大屏分辨率、设备故障全流程兜底录屏 Day6 录好;备用笔记本部署离线环境(本地 whisper+本地向量库+预渲染缓存可脱网跑核心路径);代码 Day5 晚冻结、Day6 全天演练;Day7 彩排演练断网/API 挂两种事故切换,明确谁待命
评委质疑数据真实性、内部竞品重复或平台治理合规声明前置+全页面模拟数据水印+绝不伪造京东内部截图,时间戳全部真实存在;竞品对照表主动回应看点回放/抖音讲解/言犀,姿态为补链路集成而非替代;落点改官方答疑区+合规审查节点回应治理红线;商业账保守三段式口径+坦白渗透率不确定性;双源评测主动亮泛化边界
06
零售:智能导购体验创新

一拍到家

拍一张照,把商品搬进你家

为什么是它:小组指定追加的智能导购赛题代表:业务视角 8.5 分(与切中要害并列全场最高档,打的是京东家电家具 3C 基本盘的大家电退货率与决策转化,「量尺寸、看效果、送装一体」闭环只有京东履约网络接得住)+惊艳度 5 的全场天花板牌——「商品以正确比例光影出现在评委自己拍的房间照片里」是不需要解释的尖叫点。它也是唯一吃过工程可行性一票否决的方案(宣传即兴性 vs 工程预制性冲突),本次深度设计全部围绕拆掉这个否决展开;与五强互补,补齐六个方案里缺失的图像生成/空间理解形态。 本方案初稿经三路对抗评审 18 条质疑(高 10 / 中 7)锤炼,终稿逐条回应,见本章「对抗性问答」。

产品思考

目标用户在京东浏览大家电/家具/大屏3C、客单价2000元以上的都市家庭用户——尤其是搬新家、换新、婚房置办人群。他们的共同卡点:不确定「尺寸放不放得下」和「风格搭不搭」,导致下单犹豫、货到退货(此判断只引用可溯源的公开口径:行业报告、消协投诉分类、商详页「尺寸不合适」真实差评,全部带出处)。
核心场景小李想给出租屋换台冰箱。入口一(商详页):她在某款冰箱商详页点「放我家看看」,拍下厨房转角照片。3秒后AI说:「约6平厨房,现代简约风,灶台左侧可用宽度约62cm(视觉估算,预约送装量尺可精确)。」当前这款宽64cm,叠加两侧散热间隙共需约74cm——红线弹出「此款在你家放不下」,并提供「查看适配款」按钮,她主动点开二跳。入口二(家电频道页):她口述「三门、白色、预算4000内」,系统从库内召回3款并当场渲染进照片原位——比例、光影、地面投影都对;同一位置左右滑动对比3款,背景纹丝不动。她选定后一键加购并预约送装档期。全程2分钟,从「怕买错」到「看见它已经在我家」。
价值主张把大家电购买决策里最贵的两个不确定性——「放不放得下」「好不好看」——在下单前用一张照片消灭掉。北极星指标选决策期可A/B验证的「试摆用户加购率/下单转化提升」,退货率下降作为长期指标(归因链条长,不做短期承诺)。与京东现有上门量尺服务是漏斗上下游而非替代:上门量尺是下单后/高客单的重人力服务,我们把量尺前置到决策期、零边际成本、秒级出结果;「决策期试摆→下单→送装一体」的闭环只有京东履约网络接得住,天然构成竞对壁垒。
差异化本质与套壳图像应用的差异用肉眼可见的实测说话:D1做竞品扫描,同一张房间照喂给市面现成AI试摆产品与我们的系统,对比锁死三格——比例失真/无尺寸校验/无避障提示,截图进PPT,不靠口头辩护。我们的增量是「视觉试摆之上的决策层」:参照物单目尺度恢复(随拍±5cm并当场卷尺验证)+品类安装知识卡校验(宽度/散热间隙/开门回转,厂商说明书背书)+需求归一化导购——这三件是图像模型P不出来、且demo里当场可验证的。与宜家Place的差异:Place需预建3D资产、只覆盖自家SKU,3D建模成本高是公开事实(宜家Place与天猫家装城3D覆盖率受限于建模成本均可公开查证);图像编辑直接基于商品实拍图合成,供给侧成本结构数量级不同——但覆盖宣称收缩为「自营大家电+头部家具先行」(尺寸字段最全、客单最高、决策最痛),规模化的尺寸数据治理(VLM从商详图自动抽取+置信度分级)放二期规划。对京东现役3D/AR能力只讲互补定位:「商详页3D主图解决看清商品,我们解决放进你家」,不做任何「内部项目已死」的断言;Q&A遇到相关背景评委,姿态是愿意并入现有产品线做增量。

MVP 范围(七天砍法)

做(IN SCOPE)

  • 5个预调房间(团队成员自宅实拍+激光尺实测标定,D2前完成、留一次重拍余量)× 每间6-8个真实在售SKU全量预渲染,颜色/门型/价位铺出梯度,主demo路径100%走预制资产库
  • 照片空间理解+参照物尺度恢复:随拍要求入镜A4纸/标准地砖等已知尺寸参照物,输出±5cm级估计并明示「视觉估算」;预调房间用实测值校准;demo含「随拍报尺寸→卷尺当场验证」环节
  • 两入口模式:商详页「放我家看看」只试摆当前SKU+尺寸红线,「查看适配款」为用户主动二跳;频道页导购模式做对话推荐3款,召回空间硬锁死该房间已缓存SKU集,约束不可满足时显式播报放宽
  • 品类知识卡红线校验:宽度硬约束+散热间隙+开门回转半径,参数取自厂商安装说明书,纯规则比对;40个SKU三维尺寸逐一人工核对口径(裸机/含把手/含包装)
  • 试摆预览交互:mask背景回贴保证滑动对比背景像素级不动,筛图含「三联可对比性」自动指标;缓存路径加3-6秒生成动画与实时观感拉齐;一键加购+送装档期页(假单)
  • 合规与现场保障:路演现场链路100%国产API(Qwen-Image-Edit/Seedream),上传页「30分钟自动删除」提示+人脸自动打码;随拍环节D7上午实拍路演厅预生成,实时彩蛋后台并行生成

不做(OUT OF SCOPE)

  • 不做任意房间任意SKU的通用实时试摆承诺——随拍为明示的实验环节,主路径为预制资产,且路演话术按「热门预渲染+长尾实时」的生产架构口径讲
  • 不接京东真实商品API/订单/库存系统,加购与送装全部为演示假单,路演主动说明;商业页SKU覆盖收缩为「自营大家电+头部家具先行」,不宣称全量SKU
  • 不做3D/AR实时渲染、不做多商品同图组合摆放、不做视频级环绕预览
  • 不做App/小程序原生端,只做移动端浏览器H5(评委手机可开即为加分)
  • 不做用户账号体系、历史记录、分享裂变等平台功能
  • 不做模型自训练/微调,全部基于API prompt工程与结果筛选;后端不做微服务四件套,静态JSON+单体服务

技术架构

体验层 移动端 · 一次决策闭环 拍照上传页 导购对话流 试摆滑动对比 尺寸红线弹层 加购送装页 照片与口述需求 编排服务层 会话编排 · 降级兜底 会话状态机 需求归一映射器 试摆任务队列 降级兜底开关 归一化任务请求 AI能力层 多模型协同 · 规则兜底 空间理解引擎 参照物尺度恢复 导购对话模型 图像编辑试摆 品类规则校验器 检索SKU与缓存 数据资产层 预调资产 · 实测标定 真实SKU商品库 预调房间资产库 试摆结果缓存 实测尺寸标定表 品类安装知识卡

架构图可左右滑动查看 →

  1. 用户上传房间照片(预调房间命中资产库指纹;随拍需入镜已知尺寸参照物,走实时通道),上传页展示「30分钟自动删除+人脸打码」隐私提示
  2. 空间理解引擎输出结构化JSON:面积、风格、已有物品、摆放锚点;参照物尺度恢复给出±5cm级可用尺寸(预调房间用激光实测标定值校准)
  3. 用户口述需求,对话模型抽取约束并复述确认;需求归一映射器把任意品类/颜色/预算组合硬映射到该房间缓存SKU集内最近3款,不可满足时显式播报「无符合X的款,已为你放宽到Y」
  4. 品类规则校验器按知识卡(宽度硬约束+散热间隙+开门回转)逐一比对,超限标红;商详页模式下拦截用户主动指定的超限款并提供「查看适配款」二跳
  5. 试摆任务队列取图:预调命中缓存(加3-6秒生成动画拉齐观感),实时通道调国产图像编辑API生成后做mask背景回贴
  6. 前端同位置滑动切换3款合成图(背景像素级不动),越线SKU弹尺寸红线警告
  7. 用户选定后进入加购与送装档期页,完成一次决策闭环

AI 设计

模型选型
  • Qwen-Image-Edit / Seedream 4.0(国内API):现场图像编辑主力,合规无出境;Gemini 2.5 Flash Image 仅限赛前离线摇奖(素材为团队成员自宅、已授权),路演现场链路100%国产
  • Qwen-VL-Max(多模态理解):房间照→结构化空间JSON(面积/风格/物品/锚点)+参照物单目尺度恢复(±5cm级可用尺寸),强制JSON schema输出
  • Qwen-Max 或 DeepSeek-V3(对话):导购对话与意图抽取,function calling 驱动归一化召回与试摆动作
  • Paraformer / 通义听悟 ASR:现场口述转文字;失败时演示者3秒内代打字无缝接管(彩排过)
编排策略编排口径重述为生产架构而非路演补丁:「热门房型×热销SKU离线预渲染 + 长尾请求实时生成」——这就是上线后90%用户的真实体验,与CDN/推荐系统预计算同构,路演坦白话术照此讲。(1) 预制通道=主路径:D2-D5对5房间×6-8SKU约35个组合批量生成,三道工序保证滑动可对比性——先用mask把原照片背景像素回贴到合成图,只保留商品与投影区域,机制上保证滑动时背景像素级不动;再跑「三联可对比性」自动指标(摆放区外与原图像素差超阈值直接淘汰,脚本自动跑);最后VLM回评+人工共评比例/光影/遮挡。D3先用首个房间做三联滑动真机验收,过关才放量,防止D5封版后返工。缓存命中加3-6秒生成动画,消灭「秒出」破绽。(2) 对话召回空间硬锁死在该房间已缓存SKU集内,需求归一映射器把任意约束组合映射到缓存内最近3款,不可满足时对话模型显式播报放宽——miss演成导购智能而非装死;保底交互为评委三张需求卡三选一。(3) 尺寸链路分层:VLM出空间JSON,随拍用已知尺寸参照物做单目尺度恢复给±5cm估计并当场卷尺验证,预调房间用激光实测值校准;规则校验走品类知识卡(宽度+散热间隙+开门回转,参数取厂商安装说明书),纯代码比对、可审计、有规范背书——不再使用「永远不出错」等绝对化表述。(4) 摇奖数据从D3第一轮起分层记录:单次生成可用率、「一次生成3张+VLM回评挑1」的top-3可用率、单张成本、P95延迟——主动做成PPT「线上工程账」页,把筛选流水线讲成工程贡献而非藏起来的弱点;若实测撑不起实时叙事,产品形态预备降级为「提交照片、1分钟后推送结果」,与大家电非即时决策节奏自洽。(5) 随拍环节:D7上午实拍路演厅入缓存,现场「拍的就是这间厅」;实时彩蛋后台并行——开拍即切PPT讲商业页,出图回来展示(惊喜),不出图不提(无痛),砍掉全场盯进度条的死亡静默。所有API结果本地缓存,demo机拔网线可走完主路径。
Mock 数据策略四条原则让mock逼真且经得起拆:(1) SKU全真且口径干净——约40个商品取自京东在售真机(型号/价格/主图来自公开商详页),三维尺寸逐一人工二次核对,标定表注明裸机/含把手/含包装口径,散热间隙与开门回转参数取自厂商安装说明书,评委当场搜得到同款、问得出出处;(2) 房间全真——5个预调房间为团队成员真实住所实拍(本人授权,规避隐私争议),含真实杂物与光照缺陷,绝不用效果图;(3) 尺寸全真且分层——预调房间激光测距仪实测标定,AI播报有真值背书;随拍场景用参照物尺度恢复报±5cm级估计并明示「视觉估算」,demo里现场卷尺验证兑现;标定表在叙事中定位为「模拟京东送装量尺数据回流/用户AR量尺输入」的数据源,不伪装成模型能力;(4) 商业数据可溯源——开场与价值主张只引用公开口径(行业报告/消协投诉分类/商详页「尺寸不合适」真实差评截图),PPT角标注出处,没有硬数字的地方用3位真实用户15秒「怕买错」短视频做定性表达,绝不引用拍脑袋的「内部数字」。

七日作战表

里程碑产品 ×2设计 ×1算法 ×2研发 ×8
D1剧本定稿,实拍与工具启动写死demo剧本v1(两入口两幕+受控互动+后台彩蛋边界);竞品实测扫描:同一张房间照喂市面AI试摆产品,截「比例失真/无尺寸校验/无避障」三格对比;半天专项收集公开退货数据/消协口径/真实差评截图,全部带出处主流程线框图+试摆滑窗交互稿,确定视觉风格;隐私提示与红线弹层的视觉语言图像编辑横评以国产为主力候选(Qwen-Image-Edit/Seedream,Gemini仅离线),比比例/光影/遮挡,跑通首个房间+冰箱样例;参照物尺度恢复可行性验证H5壳+单体服务骨架(静态JSON,不做微服务);当天用手机实拍照片打通上传链路,把iOS Safari EXIF旋转坑逼到D1暴露;工具组启动摇奖批量调用脚本(并发/重试/限流);当晚启动5个房间实拍
D2房间标定完成,理解链路通40个真实SKU爬取+三维尺寸逐一人工核对口径(裸机/含把手/含包装),补散热间隙与开门回转参数(取厂商安装说明书);红线警告文案初稿主流程高保真UI交付前端,含红线弹层、隐私提示、实验环节标识VLM空间理解prompt调优+JSON schema锁定;参照物尺度恢复原型(A4纸/地砖);导购对话function calling+需求归一映射设计房间实拍+激光标定D2早完成(留重拍余量);上传/空间解析/对话/推荐四个API落地;网页版打分工具可用(左右对比+一键评分入库)
D3三联验收过关,摇奖放量剧本v2按真实效果修订;红线文案定稿(含散热/回转口径)试摆对比滑窗与加购送装页视觉定稿,开始路演PPT首房间三联滑动真机验收(mask背景回贴+三联可对比性指标)→过关后35组合摇奖放量;从第一轮起分层记录单次可用率/top-3可用率/单张成本/P95延迟mask回贴管线+试摆任务队列+结果缓存;前端滑窗联调;真机兼容专项开始每日回归(iPhone/安卓各一台)
D4红线知识卡与两入口完成组织首次内部走查,按两幕剧本全流程过一遍;产出20条恶意评委话术清单(超纲约束/方言/半截话)PPT主体完成(含工程账页与合规页框架);合成图人工共评VLM回评自动筛图接入摇奖流水线(省人审并成为可讲技术点);摇奖第二轮补差组合品类知识卡红线+自动适配款二跳+需求归一映射+降级兜底开关落地;ASR接入+3秒代打字预案
D5资产封版,工程账入PPT录制兜底视频(随拍成功案例+完整流程备份);路演讲稿v1,坦白话术定稿(「上线后90%用户体验=离线预渲染+长尾实时」)PPT定稿:单次可用率→流水线提升的数据页、隐私合规页、竞品对比页;加载动效与红线警示感打磨全部约35个预调组合筛图入库封版;实时通道prompt最后调优;工程账数据整理成图全链路联调修bug;缓存路径3-6秒拟真生成动画;本地缓存兜底验证(拔网线走完主路径)
D6三轮彩排,恶意评委演练主持3轮全真彩排(含计时),每轮注入一种故障:断网/API超时/ASR失败;专设恶意评委环节,2人轮流用20条刁钻话术攻击对话链路,任何一条答非所问当天修根据彩排反馈微调PPT与UI文案待命修模型侧问题;实时通道用同款场景实测30次以上,得出敢说分母的成功率口径只修彩排暴露的阻断性bug;demo主机+备用机双环境部署,双运营商热点备份
D7路演厅预生成,代码冻结终版讲稿背熟;Q&A必答题逐条彩排:激光尺质疑/内部类似项目/上门量尺关系/隐私留存/退货数据出处现场物料检查:投屏比例、手机支架、演示灯光、卷尺道具上午随设备进场实拍路演厅→下午预生成入缓存(现场随拍环节的底牌);封存所有prompt与缓存代码冻结,只修阻断性bug;终彩排×2;设备进场检查

七日表可左右滑动查看 →

13 人分工

产品组2 人
设计组1 人
算法组2 人
前端组3 人
后端组2 人
工具与保障组3 人
产品组:demo剧本与两入口故事线全权负责(1人主路演);SKU数据采集与尺寸口径核对、公开数据弹药与竞品扫描、Q&A必答题预案、彩排导演兼恶意评委(1人)
设计组:全流程UI/交互稿、路演PPT(含工程账页/合规页/竞品对比页)、合成图人工质检共评、现场演示视觉物料
算法组:1人主攻图像编辑:模型横评、摇奖与mask回贴、三联可对比性指标、VLM回评自动筛图、实时通道;1人主攻理解链路:空间理解JSON、参照物尺度恢复、导购对话function calling、ASR
前端组:H5全部页面:上传(含隐私提示/打码)/对话流/试摆滑动对比/红线弹层/加购送装页、生成动画;其中1人专职iOS/安卓真机兼容每日回归(EXIF/相机权限/视口)
后端组:单体服务:会话状态机、需求归一映射器、品类规则校验器、试摆任务队列、结果缓存与降级开关(静态JSON数据层,不做网关/微服务)
工具与保障组:摇奖批量调用脚本(并发/重试/限流/配额)、网页版打分工具、资产库管理与封版、房间实拍与激光标定执行、双机部署、断网/兜底视频/热点等现场保障

对抗性问答(评审攻防实录)

Aha moment是全案最大的自爆装置:邀评委现场自由口述需求,但每个房间只缓存6-8个SKU。评委随口一句「黑色对开门」「预算1500」就是缓存外空集——系统要么走你们自己明令禁止上主路径的实时生成(三成翻车率),要么当着全场特写无视评委刚说的话端出3台白色三门冰箱,「对话式导购」瞬间被证伪成放录像,比图像翻车更致命。
方案已四层全改:(1) 召回空间硬锁死在该房间已缓存SKU集内,缓存覆盖每间全部6-8款且颜色/门型/价位铺出梯度;(2) 架构编排层新增「需求归一映射器」组件,任意约束组合映射到缓存内最近3款,不可满足时对话模型显式播报「该色系此型号缺货,已为你放宽到同系白色」——miss演成导购智能而非装死;(3) 保底交互改为评委从三张需求卡三选一(卡后全缓存命中),自由口述仅作为归一化兜底彩排全通过后的可选项;(4) D4产品组产出20条恶意评委话术,D6彩排专设攻击环节,任何一条答非所问当天修。
「同位置滑动切换3款对比」没有任何跨图一致性工序:每个SKU独立best-of-N,编辑模型每次都轻微重绘全图——白平衡漂移、背景纹理变化、商品各挑各的落点透视。三张独立筛出的图进滑窗,评委在特写下看到背景闪变、冰箱在三帧间跳位置变大小,Aha moment当场变穿帮时刻;你们的三项打分全是单图指标,恰好漏掉这个只在滑动时暴露的缺陷。
机制级修复而非打分修补:(1) 管线加mask背景回贴工序——原照片背景像素直接贴回合成图,只保留商品与投影区域,滑动时背景像素级不动,这是机制保证不是概率保证;(2) 筛图加第四项自动指标「三联可对比性」(摆放区外与原图像素差超阈值即淘汰,脚本自动跑,不占人审);(3) 计划表D3改为「首房间三联滑动真机验收→过关才放量35组合」,把这个缺陷的暴露点从D5封版后提前到D3,留足返工时间。
红线桥段被两刀捅穿:第一刀,逻辑自相矛盾——系统推荐前就知道空位60cm,为什么还召回一台65cm明知放不下的款再靠弹窗打补丁?推荐和校验根本是两个没打通的模块,警告是排练出来的戏。第二刀更狠,领域规则本身是错的——60cm橱柜配65-70cm冰箱是中国厨房常态安装,冰箱本来就允许凸出台面;真正的硬约束是散热间隙、开门回转、入户通过性,而商详页深度口径能差10cm+。你们还把话说死到「永远不出错」,评委一句「你这规则会误杀市面大半正常安装方案」,记忆点当场变事故点,连退路都没留。
两刀都已落进方案:(1) 剧本重写为拦用户不拦自己——第一幕演示者说「同事推荐了另一款」手动指定试摆,红线弹出并给「查看适配款」二跳,校验器从给自家推荐擦屁股变成拦住用户即将犯的错;产品逻辑两层化写进Q&A:推荐链路尺寸软过滤(默认不召回超限款),用户主动指定时硬拦截。(2) 规则升级为品类知识卡:冰箱=宽度硬约束+两侧散热间隙+开门回转,洗衣机=嵌入进深+门口通过宽度,参数取厂商安装说明书,Q&A能甩出处;演示翻车案例换成无争议的宽度维度(「宽64cm+散热共需74cm,超出实测62cm」);40个SKU尺寸逐一人工核对并注明裸机/含把手/含包装口径;话术从「永远不出错」改为「规则不依赖模型、可审计、有厂商安装规范背书」。
工程可行性的一票否决没被拆掉,只是搬进Q&A等着反杀:主路径100%缓存意味着现场零真实调用,而你们自己写明千次生成筛35个满分组合——首图可用率3-10%是你们自己生产的数字,评委追问「线上单次可用率多少?每次试摆摇十几次,延迟成本多少?」你们「新模型解掉AR死因」的立论被自家管线统计当场证伪。缓存「秒出」本身就是胸前挂牌「我是预录的」,4:30那句「刚才是打磨过的资产库」还把Aha moment追溯性没收;彩蛋还专挑最难的输入(大进深教室+荧光灯)配最紧的熔断(生成10-20秒+回评5-10秒 vs 15秒熔断),评委实际看到的必然是预录视频,「成功率约七成」说不出分母就露馅。
从「藏」改为「亮」,五处落地:(1) D3起摇奖数据分层记录——单次可用率、「一次生成3张+VLM回评挑1」的top-3可用率、单张成本、P95延迟,主动做成正片4:30-5:45的「线上工程账」页,筛选流水线讲成工程贡献;若数据撑不起实时叙事,产品形态预备降级为「提交照片、1分钟后推送结果」,与大家电非即时决策节奏自洽——先自己改口,不等评委改。(2) 缓存路径加3-6秒生成动画,消灭秒出破绽。(3) 坦白话术重写:「你看到的就是上线后90%用户的体验——热门房型×热销SKU离线预渲染,长尾走实时」,预生成+缓存是CDN/推荐系统的正统生产架构。(4) 彩蛋重设计:D7上午随设备进场实拍路演厅、下午预生成入缓存,现场「拍的就是这间厅」——空间是评委眼前的真空间,不撒谎且成功率100%;实时生成改后台并行,开拍即切PPT,出图回来展示、不出图不提。(5) 一切成功率数字来自D6同场景30次以上实测,说得出分母才说数字。
你们唯一的创新辩护「尺寸红线是模型P不出来的工程能力」是个骗局:AI播报的「可用宽度62cm」背后是激光测距仪人工实测的标定表。「离开这5个预标定房间,随拍照片的红线校验还成立吗?」答案是不成立——你们自己写了随拍只给20cm宽的区间估计,根本做不了厘米级红线判定。整个系统=VLM prompt(谁都会写)+if语句(比大小)+图像编辑API(谁都能调)+一把激光尺(人力,不是AI),这不是套壳是什么?被拆穿的瞬间连带前面所有诚实叙事一起完蛋。
补上最小但真实的泛化能力,并把标定表的角色讲诚实:(1) 随拍要求入镜已知尺寸参照物(A4纸/标准地砖),VLM做单目尺度恢复输出±5cm级估计——demo专设「现场随拍路演厅→AI报尺寸→评委面前卷尺验证」环节(3:30-4:30),误差5cm内是全场最硬的镜头,这是当场可复现的AI能力,不是复读机;(2) 叙事分层:厘米级红线来自量尺数据,标定表在demo中的定位=「模拟京东送装师傅量尺回流/用户AR量尺输入」的数据源,视觉估算做决策期初筛——这是产品的数据源设计,不是伪装的模型能力,落地时量尺数据本来就该来自履约网络回流;(3) 这道题已写进D7 Q&A必答题清单逐条彩排,不再只防「说错数字」,重点防「这数字不是AI算的」这一刀。
隐私与数据出境是全方案空白,主力选型直接踩雷:Gemini做图像编辑主力,意味着把用户房间照——家庭内景、可能的人脸儿童证件、可推断的住址财产状况——上传境外服务器,按PIPL和数据出境评估口径,这故事在京东立项第一天就被合规毙掉。方案通篇没一个字讲照片留存、脱敏、授权,评委一句「用户的家你发给谁了?照片存多久?」问死,这是上市公司评委必问题。
三步全部落进方案:(1) 模型选型已改写——Qwen-Image-Edit/Seedream 4.0转正为现场图像编辑主力,路演现场链路100%国内API;Gemini仅限赛前离线摇奖,且素材全部是团队成员自宅、有本人授权,「现场链路无一张照片出境」这句话本身就是Q&A弹药;(2) 上传页加肉眼可见的隐私时刻:「照片仅用于本次试摆,30分钟后自动删除」文案+人脸自动打码开关,前端一天工作量,可信度收益极大;(3) PPT合规页(4:30-5:45正片):落地形态为自有多模态模型/私有化部署+端侧预处理,主动讲而不是等人问。
入口逻辑和京东流量分配机制打架:在A商品(可能是POP商家花真金白银买曝光)的商详页里,把用户导流给B商品还「自动替换」,等于详情页变竞品分发口——自营采销和POP商家都不会接受,「自动替补」的排序逻辑还会被追问是不是新的流量寻租点。业务评委一句「这个转化算给谁?商家同意吗?」就把「天然挂回商详页」的立项路径问穿。
已拆成两个入口模式并重排整个剧本:(1) 商详页模式只试摆当前SKU+红线提示「此款在你家放不下」,「查看适配款」是用户主动点击的二跳而非自动替换——商家能接受「帮用户确认买我」,不能接受「帮用户换成别家」,这条边界写进了产品逻辑;(2) 对话导购推荐3款挂在家电频道页/搜索场景入口,在流量分配上顺理成章;(3) demoScript已按两幕重排:第一幕商详页试摆+红线,第二幕频道页导购,PPT画清两个入口——原来的质疑点反而变成产品思考成熟度的展示。
differentiation选的三个假想敌全是软柿子,2026年真正撞车的对手一个没提——nano-banana公开一年多,「拍照把商品P进你家」已是淘宝AI试摆和一堆套壳应用的现成玩法,评委当场掏手机打开一个同类产品你们怎么办?更危险的是「京东AR死于3D贵+渲染假」是你们编的内部尸检——台下可能就坐着当年做这个功能的人,「废弃」二字说错等于当众否定在座评委的现役业务,这不是减分,是信誉塌方。
内部叙事整体删除,差异化改用实测说话:(1) differentiation已重写——上一代方案的成本死因用公开事实论证(宜家Place需预建3D资产、天猫家装城3D覆盖率受限于建模成本),对京东现役3D/AR能力只讲互补定位:「商详页3D主图解决看清商品,我们解决放进你家」,全案不再出现「废弃」「已死」字样;(2) D1产品组做竞品实测扫描:同一张房间照喂给市面现成AI试摆产品,对比格子锁死「比例失真/无尺寸校验/无避障提示」三项,截图进PPT(5:45-7:00),把区别从口头辩护变成肉眼可见——评委掏手机正好帮我们演示对比;(3) Q&A预备「内部已有类似项目」应对:定位为新模型代际下的成本结构重构,姿态是并入现有产品线做增量,路演结尾还主动留了一句「在场做过相关产品的前辈,特别希望听到一手视角」,把可能的拆台预先转化为请教。
商业故事的支柱全没背书:「尺寸不符是退货主因」全方案无出处,而台下评委是真看过大家电退货归因报表的人,方向或量级错了第一分钟就把「以真打假」的人设漏个口子;京东嵌入式品类已有免费上门量尺+送装一体,你们闭环有一半是京东在做的事,「上门量尺已经解决了,你的增量在哪」必然被问;「零3D成本覆盖全量SKU」还和红线依赖干净结构化尺寸数据自相矛盾——长尾SKU尺寸缺失口径混乱,40个SKU是人工爬的,这条路径乘不上「全量」。
三处收缩+一处正面讲:(1) 开场与valueProp只用可溯源公开口径(行业报告/消协投诉分类/商详页「尺寸不合适」真实差评截图),PPT角标注出处,D1产品组半天专项收集;开场改为3位真实用户15秒「怕买错」短视频做定性表达;Q&A必答题备好「我们没有内部数据,这正是接入后第一个要验证的假设」;北极星指标改为决策期可A/B验证的「试摆用户加购/转化提升」,退货率降为长期指标。(2) 与上门量尺正面讲成漏斗上下游:量尺是下单后/高客单的重人力服务,我们把量尺前置到决策期、零边际成本、秒级出结果,两者互补且量尺数据回流反哺红线精度。(3) 「全量SKU」已收缩为「自营大家电+头部家具先行」(尺寸字段最全、客单最高、决策最痛),规模化路径(VLM从商详图/说明书自动抽取尺寸+置信度分级,高置信启红线、低置信只试摆)放二期规划页——把会被戳穿的漏洞换成「我们清楚规模化的坑在哪」的加分项。
8个校招新人的产能和隐性工程量对不上账:3个后端在造评委一件都看不见的API网关/状态机/队列/编排器四件套,而真正决定生死的活零预算——千次生成的批量调用工具(并发/重试/限流/配额)、上千张图的人审打分工具(靠文件夹肉眼过图根本评不完)、iOS Safari EXIF旋转让合成图错位90度的兼容深坑;5个房间D3才拍完、摇奖同日启动,任何一间因光线角度不可用需重拍,D5封版直接崩,D4-D5是这个计划注定爆炸的两天。
产能已全部重排:(1) 后端砍到静态JSON+单体服务2人(网关/微服务四件套明确写进outOfScope),腾出人力组成3人工具与保障组——摇奖批量调用脚本(并发/重试/限流/配额)D1启动、网页版打分工具(左右对比+一键评分入库)D2可用;(2) 前端3人中1人专职iOS/安卓真机兼容,D1当天就用手机实拍照片打通上传链路,把EXIF旋转坑逼到第一天暴露,此后每日真机回归;(3) 房间实拍提前到D1晚启动、D2早完成激光标定,给管线留一次重拍余量;(4) D3改为「首房间三联滑动真机验收→过关才放量35组合」,把最大不确定性从D5前移到D3,D4-D5从赌命日变成补差日。

路演脚本(5-8 分钟)

  1. 0:00-0:45痛点开场:先放3位真实用户各15秒的竖屏短视频「我最怕买回来放不下」,再补一页带出处角标的公开口径数据(行业退换货报告+商详页「尺寸不合适」真实差评截图)。一句话定位:一拍到家——拍一张照,量好尺寸、看好效果、送装一体。
  2. 0:45-2:00第一幕(商详页模式):演示者在某款冰箱商详页点「放我家看看」,拍预调厨房照。3秒后AI播报:「约6平,现代简约风,灶台左侧可用宽度62cm」(预调房间有激光实测真值校准,话术如实说明)。当前款试摆出图(带生成动画)。演示者说「同事还推荐了另一款」,手动指定试摆——红线弹出:「该款宽64cm,叠加两侧散热间隙共需约74cm,超出实测62cm」,并出现「查看适配款」按钮,演示者主动点开。点明:拦的是用户即将犯的错;推荐链路默认软过滤超限款,用户主动指定时硬拦截。
  3. 2:00-3:30第二幕(频道页导购,Aha moment):切到家电频道页入口,邀请一位评委从三张需求卡中挑一张念出(也接受自由口述——需求归一映射器兜底,超纲时系统播报「该色系此型号缺货,已为你放宽到同系白色」)。3款真实在售SKU出现,逐款渲染进照片原位,全场特写;左右滑动同位置切换3款,背景像素级纹丝不动。停顿两秒让评委「拿自己家脑补」。
  4. 3:30-4:30现场随拍验证(最硬的镜头):现场拍路演厅一角(A4纸入镜),AI报出可用尺寸估计——演示者当场拿卷尺量给评委看,误差5cm内。同时试摆生成任务后台并行启动,演示者顺势切PPT;若中途出图则回来展示「这就是你们现在坐的这间厅」,不出图则不提。(另有底牌:D7上午已实拍路演厅预生成入缓存。)
  5. 4:30-5:45工程账+合规(主动交底):「刚才你们看到的就是上线后90%用户的体验——热门房型×热销SKU离线预渲染,长尾请求走实时生成,和CDN/推荐系统同一个架构思路。」放数据页:单次生成可用率X%→「一次3张+VLM回评挑1」提升到Y%,单张成本、P95延迟;再放合规页:照片30分钟自动删除、人脸打码、现场链路100%国内API、落地形态为自有模型/私有化部署。
  6. 5:45-7:00商业闭环收尾:两入口画清(商详页=帮用户确认买我,频道页=对话导购);主指标为决策期可A/B验证的试摆用户加购/转化,退货率为长期指标;与上门量尺是漏斗上下游——量尺前置到决策期、零边际成本;覆盖策略为自营大家电+头部家具先行,二期用VLM抽取商详尺寸+置信度分级做数据治理;放竞品实测对比页(比例失真/无尺寸校验/无避障三格截图)。坦承未接内部API、加购为假单,给出接入路径。结束语回到slogan,留Q&A,并预留一句:「如果在场有做过相关产品的前辈,特别希望听到一手视角。」

风险与预案

翻车点预案
图像编辑生成不稳定、滑动对比跨图不一致,现场穿帮导致信任归零(工程可行性一票否决点)mask背景回贴从机制上保证滑动时背景像素级不动;「三联可对比性」自动指标+VLM回评+人工共评三道筛;D3首房间三联滑动真机验收过关才放量35组合,把翻车暴露点从D5前移到D3;D5资产封版后主路径100%命中缓存并加3-6秒拟真生成动画;实时生成只以后台并行彩蛋出现,出图展示、不出图不提。
评委开放输入超出缓存SKU覆盖,或ASR在嘈杂会场翻车,「对话式导购」当场被证伪成放录像召回空间硬锁死该房间缓存SKU集+需求归一映射器,约束不可满足时显式播报放宽(miss演成导购智能);保底交互为三张需求卡三选一;主持人复述确认时把需求修剪进库内;ASR失败3秒内演示者代打字接管(彩排过);D6恶意评委环节用20条刁钻话术攻击,答非所问当天修。
现场网络差或大模型API超时/限流,链路卡死预调路径的空间理解、推荐、试摆结果全部本地缓存,D5拔网线验证走完主路径;demo主机+备用机双部署,双运营商热点备份;现场链路全国产API、延迟可控,对话环节备常见需求缓存命中路径。
领域知识被内行评委戳穿:尺寸口径混乱、散热/回转约束缺失、内部AR项目叙事说错、商业数字无出处40个SKU尺寸人工二次核对并注明口径;红线升级品类知识卡(宽度+散热+回转),参数取厂商安装说明书,Q&A能甩出处;内部项目叙事整体删除,换公开证据链+互补定位(「3D主图解决看清,我们解决放进你家」);商业数据只用可溯源公开口径带脚注;「永远不出错」等绝对化表述从全部话术清除;D7 Q&A必答题(激光尺质疑/内部项目/上门量尺/隐私/退货出处)逐条彩排。
13人7天产能错配与范围蔓延:隐性工程量(摇奖批量工具/千张图人审/EXIF兼容)零预算,D4-D5爆炸、D6-D7彩排被挤掉后端砍薄到静态JSON+单体服务2人,腾出人力组3人工具与保障组(批量调用脚本+网页打分工具D2可用);前端1人专职真机每日回归,D1用手机实拍打通上传把EXIF坑逼到第一天;房间实拍提前至D2完成留重拍余量;outOfScope白名单制,新需求只进「二期畅想」页;D5资产与功能双封版,D6起只修阻断性bug;产品组1人专职彩排导演,三轮全真彩排各注入一种故障。

最终建议

首选:退货判官

五个方案都能打,但如果只报一个,报退货判官。它是三视角评审唯一的零否决共识项:现场演示视角给出全场最高分,因为它是唯一「评委任选实物、当场剪掉吊牌制造瑕疵也不怕」的 demo,可信度无法伪造;切角足够刁,全场队伍大概率都在做正向仓运配,逆向链路几乎不会撞题;而「上门取件、逆向仓质检、二次上架」这条链路只有京东自己握得住,业务故事天然成立。

它的风险画像也和小组配置最匹配:没有实时语音、实时视频生成这类高危模块,2 名算法从 D1 起专攻 VLM 定级一致性(rubric 固化加 30 件样品多光照回归测试),8 名研发拆成质检工作台、判责管线、mock 工单三组互不阻塞,D6 起全员转入联调彩排。

替代选择:想要更强的实物舞台感和零售叙事,选晚市折扣官(全场唯一同时进入三位评委 top 榜);求稳则选审方雷达(可行性最高,剩余风险全是可分工的体力活);想赌全场天花板,选一拍到家——业务 8.5 分 + 惊艳 5 的高赔率牌,它吃过工程可行性一票否决,终稿虽已把随拍改造成「尺寸估计+卷尺验证」并锁死预调主路径,但它仍是六个方案里唯一把命押在图像编辑模型手感上的,适合执行力强且敢于彩排到 D7 凌晨的小组。第一替补:刁客·导购陪练场。执行铁律:无论选哪个,D1-D2 必须先把该方案「最大风险」一栏的验证做穿,不过关立即启用替补,绝不拖到 D4。