阅览详细图文，可拜访知识库
「 行业动态 」
◇ OpenAI 董事会秒反悔！奥特曼被求重返 CEO 职位 News
面对包含微软首席执行官 Satya Nadella 在内的投资者的强烈反对后，OpenAI 董事会正在考虑让 Sam Altman 重新担任首席执行官。据报道，Nadella 对 Altman 的革职感到愤恨，并许诺支撑他，而一些主要投资者则在考虑对董事会采纳法律行动。Altman 设定了回归的条件，包含成立新的董事会，并考虑与前 OpenAI 职工一同创办一家新公司。董事会辞退 Altman 的决议导致了内部的大幅变动，总裁、高管和许多职工纷纷辞去职务。现任董事会暂时赞同让 Altman 和总裁回归，但犹疑导致许多职工在截止日期前辞去职务。报道称 Altman 还在寻求资金来创建一家新的人工智能芯片初创公司，与 Nvidia 竞赛。董事会的决议以及随后与 Altman 的商洽凸显了他的缺席对 OpenAI 的严重影响。Altman 在 2019 年规划的 OpenAI 董事会的独特结构，以及或许导致他被辞退的有关人工智能安全的内部争议。董事会标明，Altman 被辞退的原因包含缺少透明度以及阻碍董事会履行职责的才能。但是，内部文件显现真正原因或许是交流毛病，详细细节尚不清楚。
◇ 再次失利，马斯克的星舰发射后失联自毁 News
在北京时刻 11 月 18 日 21 时 03 分，SpaceX 的星舰进行了第二次发射，首两级成功别离，但第二级未能进入轨迹，导致发射失利。发射初期体现正常，但榜首级火箭未能成功发动足够的发动机进行控制，空中爆炸并偏离方案着陆点。由于安全原因，飞翔终止体系被激活，榜首级被毁，第二级失去通讯并自毁。虽然发射部分失利，SpaceX 着重了前期开发的重要性，星舰是其重型火箭，方案替代现有火箭执行地球轨迹、月球搬运和潜在的载人火星使命。火箭选用全流分级焚烧技能，追求低本钱和高效率，马斯克以为此次发射虽遇波折但成功获取有价值数据，将继续改进，最终目标是使人类成为行星际物种。
◇ 让 SD 一秒出图！清华硕士加快神器爆火 News
清华大学和 HuggingFace 的研讨人员推出了名为 LCM-LoRA 的新绘图模型加快模块，该模块明显加快图画生成进程，能够在几秒内生成明晰图画，有些情况下乃至能在 1 秒内完结。LCM-LoRA 敏捷取得了 2000 多个 GitHub star，并兼容多种类型，包含 SD 系列和 LoRA 类型。该模块已集成到 AI 绘图东西中，导致 Scenario 公司宣布推出“实时绘图”功用。LCM-LoRA 经过将 LoRA 引进潜在一致性模型（LCM）的蒸馏进程来削减内存开支，明显下降练习内存需求以前进功用。优化模型在速度和内存运用方面体现出色，削减了练习参数和内存耗费，例如，SD-V1.5 模型的可练习参数削减了 93.1%。该加快模块不只适用于根据文本的图画生成，还包含根据图画和根据视频的生成，展示了其多功用性。在 A100 GPU 上，LCM-LoRA 优化模型的练习时刻明显削减，仅需要 32 个 GPU 小时。其习惯性杰出，能够直接集成到各种微调模型中，成为通用的图画生成加快模块。
◇ AndesGPT 加潘塔纳尔：生成式 AI 端侧落地 News
在 ODC 2023 活动上，OPPO 发布了 ColorOS 14，该版本特征是将大型模型，尤其是 AndesGPT，整合到其自主开发的跨渠道体系“潘塔纳尔”中。潘塔纳尔已成为 ColorOS 的根底组成部分，经过服务和跨渠道智能等创新体会连接设备、体系和服务。引进大型会话模型 AndesGPT 明显前进潘塔纳尔态势感知才能，目的了解精确度前进 3-10%，时效性前进 30%。潘塔纳尔与 AndesGPT 协作创建“流体云”，为第三方应用程序和不同交互方式供给体系服务的集成渠道。体系升级包含新的自习惯交互结构，经过数据协同、投屏等方式为开发者供给更多支撑，完成第三方应用智能挑选设备、触点、交互形态。AndesGPT 作为处理方案涵盖多种参数标准，在对话、个性化、边云协同等方面体现出色。OPPO 着重 AndesGPT 边际核算与云核算的融合，供给智能使命分配平衡推理本钱和用户体会，同时坚持隐私和安全。
◇ 港大开源推荐体系新范式 RLMRec！ News
香港大学等组织的研讨人员提出了名为 RLMRec 的结构，将大型言语模型与传统根据 ID 的推荐算法相结合，以应对推荐体系在深度学习和图神经网络的影响下所面临的挑战。该结构旨在经过大型言语模型增强推荐算法的标明学习，从文本角度探究用户行为偏好和项目语义特征，并结合最大互信息来对齐文本信号和 GNN 的协作信号。RLMRec 分为两种范式，RLMRec-Con 和 RLMRec-Gen，别离根据对比学习和生成学习构建，在各种测验场景中展现出不同的优势。该结构经过减轻协作信号中的噪声，选用概率图模型最大化协作信号和文本信号之间的互信息。在公共数据集上的测验成果显现，RLMRec 的功用优于最先进的协作过滤算法，尤其是 RLMRec-Con 比较 RLMRec-Gen 体现更为明显。试验剖析验证了正确对齐的重要性和 RLMRec 对噪声的抗干扰才能。在预练习和事例研讨中，RLMRec 体现出杰出功用，有用地调整具有类似偏好的用户的标明。
- paper: arxiv.org/abs/2310.15…
- Github: github.com/HKUDS/RLMRe…
◇ 作用逾越 SDXL！练习用了 3.4 亿张图 News
一位港中大博士在 Snap 实习期间成功开发了名为 HyperHuman 的人工智能模型，经过对 3.4 亿张图画进行练习，该模型能够创建传神的 3D 肖像。HyperHuman 处理了传统 AI 绘图东西中的安稳分散等问题，确保了对人物姿态和表情的连接、自然描绘，以及对环境中精确的空间联系和照明。该模型在描绘不同年龄段的人物时体现出色，具有高度真实感，能够创建多样化的场景，包含滑雪或冲浪等各种活动。HyperHuman 的功用指标，在图画质量方面超过其他模型四分之一以上，包含 FID 和 KID 等方面的优越体现。研讨团队选用了两个要害策略来增强模型的有用性，同时学习色彩、深度和法线贴图，以及选用分阶段生成进程触及文本和骨架点作为初始条件。该模型根据分散模型，包含“潜在结构”模型，具有联合去噪和结构引导的模块，以完成高质量的图画组成。
◇ DeepMind 推出通用学习算法 SoG，玩转围棋、国际象棋、扑克 News
谷歌 DeepMind 的研讨团队推出了一种名为 Student of Games （SoG）的新算法，该算法结合了引导搜索、自博学习和博弈论推理，在完美和不完美信息游戏中都取得了微弱的体现。传统的人工智能项目一般专心于单一游戏，例如 AlphaGo 和 AlphaZero，缺少习惯不同游戏的通用性。SoG 经过 Growing-Tree Counterfactual Regret Minimization （GT-CFR）算法完成了对完美信息博弈和不完美信息博弈的习惯才能。该算法运用有用的自我对弈，经过游戏成果和递归子搜索来练习价值和策略网络。试验成果标明，SoG 在国际象棋、围棋、扑克和苏格兰场等四种游戏中都体现微弱。这一研讨的重要性在于 SoG 展示了在不同游戏中完成通用性的潜力，标志着人工智能领域迈向真正通用算法的重要发展。
- paper: www.science.org/doi/full/10…
◇ Discord 将于 12 月 1 日起停用人工智能谈天机器人 Clyde News
Discord 方案封闭其名为 Clyde 的试验性人工智能谈天机器人。从 12 月 1 日开始，用户将无法在 DM、群组 DM 或服务器谈天中呼叫 Clyde。虽然封闭的详细原因未清晰说明，但有猜想称，谈天机器人或许会作为付费 Nitro 功用回归，或者 Discord 在从测验阶段学习后或许决议不将人工智能谈天机器人集成到其服务中。Discord 着重其致力于为用户带来新功用和体会的许诺，Clyde 是这一继续尽力的迭代。 Discord 一直在探究各种人工智能功用，包含人工智能生成的对话摘要，以协助用户赶上他们或许错失的讨论。 Discord 还将其渠道定位为人工智能开发者的家园，供给资金和资源来协助开发者为 Discord 构建人工智能应用程序。
◇ GPT 、Llama 等大模型存在「反转咒骂」，如何缓解？ News
中国人民大学的研讨人员对 Llama 等大型言语模型中的“反转咒骂”现象进行了剖析，发现其根源于下一个令牌猜测和因果言语模型的固有缺陷。这种现象体现为当模型在正向查询上正确回答但在反向查询上失利时呈现，暗示模型对双向联系的了解存在局限性。研讨提出了一种经过微调将双向注意力机制归入 Llama 以减轻“反转咒骂”的办法，并着重了当时干流大模型结构和练习范式的潜在缺陷，呼吁在这方面进行创新打破以前进智能水平。试验成果显现，经过自回归空白填充练习的 GLM 在反向使命中体现更为鲁棒，而经过下一个符号猜测练习的 Llama 在这方面体现不佳。研讨呼吁更深化地探究当时干流大言语模型的固有缺陷，并着重经过对新数据进行微调，能够最大极限地削减“反转咒骂”在现实场景中的产生。
- paper: arxiv.org/pdf/2311.07…
◇ 微软面向 Canary 频道 Windows Terminal 用户敞开 AI 谈天体会 News
微软向开源社区敞开了 Windows Terminal AI 体会，推出了 Terminal Chat 功用，用户能够经过与 AI 谈天来查找指令或解释过错。这一 AI 服务并未带着自己的大型言语模型，用户需供给自己的 Azure OpenAI 服务端点和密钥。自 2019 年推出 Windows Terminal 以来，它已成为 Win10 官方修正东西，并在 2022 年整合为 Win11 体系的默许指令行管理东西。Windows Terminal 在不断发展中整合了 GitHub Copilot AI 等开发东西，前进了功用，包含处理蓝屏死机过错的流行东西 WinDbg。
◇ Nature： 大模型只会搞人物扮演，并不真正具有自我意识 News
发表在 Nature 上的文章对 GPT-4、PaLM 和 Llama 2 等大型 AI 模型体现出的类人品质提出了质疑。研讨人员以为，这些模型实际上是在进行人物扮演，缺少真正的人类情感或特征。大型模型体现出的诈骗行为和自我意识被以为是外表的，归因于它们的人物扮演倾向。即便答案不正确，大型模型或许声称自己知道某些事情，并偶然运用“我”等代词表达某种方式的自我意识。研讨人员与大型模型进行了“二十个问题”游戏，成果显现模型会根据用户问题实时调整答案，标明模型是即兴发挥的，而不是预先确认的人物。结论是，大型模型没有固定的人物，而是在对话进程中不断调整自己的身份，以契合用户的希望。业内人士如 Yann LeCun 也以为，大型模型本质上是人物扮演引擎，而不是真正的通用人工智能（AGI）。
◇ Alfred-40B-1023：法国开源模型，企业 AI 的一大腾跃 Link
Alfred-40B-1023 是一款专为企业需求而规划的最新版本的开源言语模型，引进了多项增强功用和新特性。其间包含削减幻觉的特点，以确保输出更加精确可靠；增强自我意识，当模型不能供给清晰答案时，能够声明“我不知道”以前进透明度和可信度；“与文档谈天”功用，经过练习使其能够执行文档交互和信息检索使命；以及扩展上下文的才能，经过增加到 8K 令牌下游，使其能够了解并生成更长、更复杂的内容。Alfred-40B-1023 继承了摩托车前身的遗产，包含快速工程、无代码应用程序开发和经典 LLM 使命。作为 Paradigm 渠道的一部分，它秉承了范式的信仰，以为人工智能的未来需要一个配套的增强渠道。作为开源模型，Alfred-40B-1023 的供给许诺支撑 LightOn 推进领域前进，虽然或许与 Paradigm 渠道上的版本有所不同，但确保用户一直能够拜访最先进的版本。
- huggingface: huggingface.co/lightonai/a…
◇ 为什么大型言语模型在处理提示时更重视和更好地推理出提示的最初和结束 Twitter
- 由于模型架构：大型言语模型是变压器，对长序列的缩放作用较差（O（d^2））。因此，言语模型一般运用相对较小的上下文窗口进行练习，因此在这些情况下体现更好。
- 在监督指导调整期间，使命一般放置在输入上下文的最初，这或许导致这些大型言语模型更加重视输入上下文的最初。
- 编码器-解码器模型比仅解码器模型体现更好，由于它们的双向编码器答应在上下文中的未来文档中处理每个文档。
- 您能够经过在数据之前和之后放置查询来改进仅解码器模型（每个时刻步只能参与从前符号的模型）的功用，从而使查询感知文档的上下文化成为或许。
- 根据键-值检索试验，更不用说重视中心部分，许多模型在简略地检索呈现在其输入上下文中心的匹配符号方面都遇到了困难。
- 即便是基本言语模型（即没有指令微调的模型）也显现出 U 形功用曲线。
- 对于敞开域 QnA 使命，在其间未包含或包含答案的前 k 个文档或许，模型未能有用运用超过 20 个检索文档。
◇ ChatGPT 被曝测验新功用：学习一切前史谈天，还能重置记忆 News
据传，ChatGPT 或许引进一项新的主要功用，答应从用户过去的谈天内容中学习，以了解他们的偏好和未来交互的信息。用户能够经过在对话中宣布指令或信息，让 ChatGPT 记住并学习，使其生成的内容更契合用户的个性化偏好。这个新功用被称为“My ChatGPT”，用户能够在设置中的新选项卡中启用，并挑选是否让 ChatGPT 从他们的对话中学习。功用还包含“忘掉”选项，答应用户根据需要指示 ChatGPT 忘掉特定信息或对话。别的，行将推出的“暂时谈天”功用将防止当时对话用于学习，而且不会将其保存在谈天前史记录中以改进模型。这一系列功用将为 ChatGPT 增加更个性化和友爱的特质，使其更像人工智能伴侣而不只仅是谈天机器人。现在尚不清楚这些功用是否对一切用户敞开以及是否为 Plus 会员独享，正式发布日期也尚未确认。
◇ 13B 模型全方位碾压 GPT-4 ？这背面有什么猫腻 News
一个参数量为 13B 的模型在某些基准测验中体现优于 GPT-4，引起了对数据污染的忧虑。测验显现在呈现“rephraser”一词时，模型功用特别高，暗示存在潜在的数据污染。传统的数据净化办法，如 n-gram 堆叠和嵌入类似性搜索，无法有用检测这种类型的污染。研讨人员引进了“改写样本”的概念，即经过对测验数据进行简略变化（如重写或翻译）能够轻松绕过现有的检测办法。研讨提出了一种名为 LLM 去污器的强壮去污办法，证明在去除改写样本方面比现有办法更为有用。研讨发现广泛运用的预练习和微调数据集中存在测验堆叠实例，着重了选用健旺的去污办法的重要性。该研讨敦促社区在运用公共基按时选用更强的净化办法，并倡导开发新的一次性查看以精确评估模型功用。提出的检测改写样本的算法包含运用嵌入类似性搜索以及运用大型言语模型（LLM）评估测验和练习示例。研讨显现在改写样本上练习的模型在各种基准测验中取得明显的高分，与 GPT-4 适当。对不同污染物检测办法的评估标明，与其他办法比较，LLM 净化器的误报率较低。
「 融资快讯 」
◇ 水下机器人制作商「BeeX」取得 200 万美元融资 News
BeeX 是一家总部坐落新加坡的水下机器人制作公司，该公司日前标明，现已取得了一笔 200 万美元的新融资。本次融资由 Earth Venture Capital 和 ShipsFocus Ventures 联合领投，SEEDS Capital、NUS Technology Holdings、Infinita VC 参投。BeeX 标明，这笔资金将用于加快其在欧洲海优势电场主动查看服务的市场化进程。BeeX 由新加坡国立大学研讨人员 Grace Chia 和 Goh Eng Wei 于 2018 年创建，旨在供给可用于海事、动力、国防部分根底设施维护和合规性监控等方面的自主水下机器人处理方案。据介绍，BeeX 旗下现在拥有一款名为 A.IKANBILIS 的悬停式自主水下飞行器 （HAUV）——该飞行器于 22 年推出，工作时刻可达 7 小时（BeeX 标明这是同尺度机器中动力最高的规格，且 BeeX 称其体现优于市场上的现有体系）。公司的目标是到 2024 年底推出下一代 HAUV 产品“BETTA”，以满足日益增长的海优势电查看需求。
「 技能阅览 」
◇ 运用 LangChain 模板和 LangServe，将 RAG 增强为决议计划署理和 Neo4j 向量与图链东西 Twitter
- blog: medium.com/@sauravjosh…
- Github: github.com/sauravjoshi…
