日报合辑 | 电子月刊 | 大众号下载资料 | @韩信子

闭幕Twitter董事会，代码检查，裁人25%，收每月20美元认证费马斯克那些骚操作

埃隆马斯克 (Elon Musk) 抱着洗手池入主 Twitter 后，狂风骤雨现已一波波袭来——首要解雇了CEO、CFO等一众高管，闭幕了整个Twitter董事会，并亲身上阵担任CEO开始整顿。

之前放出的『裁人75%』的消息被验证不实，但第一波25%的确定性裁人已在进行中了，第二波第三波或许正在路上。马斯克从旗下公司特斯拉等抽调了50多名工程师进入Twitter作业，来审核Twitter职工的代码。据内部信息称，具体办法让职工打印出近期代码并解释和重写，写不出来或说不清楚的话，大概率就进入第一批裁人名单了。

随后马斯克又宣布下马威：11月第1周要上线新的『Twitter Blue 付费验证』功用，将每月 4.99 美元的可选订阅服务更改为 19.99 美元，并且只对付费订阅用户的账户进行验证符号。面临这个impossible deadline，项目担任经理正带领团队成员加班加点，每周7天轮班作业12小时，就为了赶上这个DDL。毕竟要么干要么只能走人了。

东西&结构

『Demucs (v3)』音源别离东西包，可别离各种乐器

github.com/facebookres…

Facebook供给了一个用于音乐源别离的Hybrid Demucs的完结，它既在MusDB HQ数据集上练习，又有内部的额定练习数据。它可以将鼓、低音和人声从其他部分别离出来，并在2021年索尼音乐DemiXing挑战赛（MDX）上取得了第一名的成绩。

Demucs根据U-Net卷积架构，创意来自Wave-U-Net。最新版别的特点是混合谱图/波形别离，以及紧缩剩余分支、局部留意和奇特值正则化。Demucs是现在唯一支撑实在的端到端混合模型练习的模型，在各域之间同享信息，而不是练习后的模型混合。

『PromptCLUE』支撑最多中文Prompt使命的开源多使命模型

github.com/clue-ai/Pro…

www.cluebenchmarks.com/clueai.html

PromptCLUE 是一个多使命中文模型，根据t5模型，运用1000亿中文token（字词级别）进行大规模预练习，并且在100+使命上进行多使命学习获得。

PromptCLUE 支撑众多中文使命，并具有零样本学习才能。 针对理解类使命，如分类、情感剖析、抽取等，可以自定义标签系统；针对生成使命，可以进行采样自在生成。

『Transformers-Tutorials』HuggingFace Transformers库实例教程集

github.com/NielsRogge/…

这个资源库包含了作者用HuggingFace制造的Transformers的演示。现在，一切这些都是在PyTorch中完结的。假如你不熟悉HuggingFace和/或Transformers，可以查看这个完好教程，它向你介绍了几种Transformer架构（如BERT、GPT-2、T5、BART等），以及HuggingFace库的概略，包含Transformers、Tokenizers、Datasets、Accelerate和the hub。

『hot-lib-reloader』无需从头启动运用从头加载Rust代码

github.com/rksm/hot-li…

hot-lib-reloader是一个开发东西，它使得你能从头加载一个正在运转的Rust程序的功用。也就是说支撑”实时编程”，即修改代码并立即看到运转中的程序的效果。它是围绕着libloading crate建立的，需求你把你需求热加载的代码放在Rust库（dylib）中。

『NiceGUI』易用的Python UI结构

github.com/zauberzeug/…

NiceGUI 是一个易于运用、根据Python的用户界面结构，它显现在Web浏览器里，可创建按钮，对话框，markdown，3D场景，绘图等。它十分适用于小型网页运用、仪表盘、机器人项目、智能家居解决方案和类似的场景。

博文&分享

『A Deep Dive into Transformers with TensorFlow and Keras』运用 TensorFlow 和 Keras 深化了解 Transformer

A Deep Dive into Transformers with TensorFlow and Keras: Part 1

pyimagesearch.com/2022/09/05/…

这是 Transformer 系列教程的第1篇，解说以下内容：

• The Transformer Architecture：Encoder / 编码器、Decoder / 解码器
• Evolution of Attention：Version 0、Version 1、Version 2、Version 3、Version 4 (Cross-Attention)、Version 5 (Self-Attention)、Version 6 (Multi-Head Attention)

A Deep Dive into Transformers with TensorFlow and Keras: Part 2

pyimagesearch.com/2022/09/26/…

这是系列教程的第2篇，解说 Transformers 架构中将编码器和解码器连接在一起的部分（Connecting Wires），包含四部分：

• Skip Connection / 越过连接
• Layer Normalization / 层标准化
• Feed-Forward Network / 前馈网络
• Positional Encoding / 位置编码

『Production-Ready Applied Deep Learning』深度学习产品运用随书代码

github.com/PacktPublis…

本书侧重于经过具体的示例缩小理论与运用之间的差距。虽然有许多关于针对不同问题介绍各种 AI 模型的书本，但咱们看到实在困难的资源有限，即布置。这本书是咱们从大规模布置数百个根据人工智能的服务中获得的常识的调集。

由于本书着重怎么大规模布置机器学习系统，因而具有一定机器学习或软件工程常识的读者会发现内容更简单理解。然而，这并不是一个硬性要求，由于咱们假定读者是该范畴的新手，并评论了理论和技术背景。

• Effective Planning of Deep Learning Driven Projects（深度学习驱动项目的有用规划）
• Data Preparation for DL projects（深度学习项目的数据准备）
• Developing a Powerful Deep Learning Model（开发强大的深度学习模型）
• Experiments Tracking, Model Management, and Dataset Versioning（实验盯梢、模型管理和数据集版别操控）
• Data Preparation on Cloud（云端数据准备）
• Efficient Model Training（高效模型练习）
• Revealing the secret of DL models（揭开深度学习模型的秘密）
• Simplifying Deep Learning Model Deployment（简化深度学习模型布置）
• Scaling Deep Learning Pipeline（扩展深度学习管道）
• Improving inference efficiency（进步推理效率）
• Deep Learning on Mobile Devices（移动设备上的深度学习）
• Monitoring and maintenance at production level（出产层面的监控和保护）
• Reviewing the Completed Deep Learning Project（回忆已完结的深度学习项目）

数据&资源

『Awesome Face Restoration & Enhancement』人脸康复与增强论文资源列表

github.com/sczhou/Awes…

• Papers
  • Face Image Restoration
  • Face Video Restoration
• Survey
• Datasets
  • High-Resolution
  • Low-Resolution
  • Video Face
  • Other Face Dataset

『Spectral Indices』遥感光谱指数相关资源大列表

github.com/awesome-spe…

光谱指数广泛用于遥感社区。本存储库盯梢不同遥感运用的经典和新颖的光谱指数。存储库中的一切光谱索引都经过精心策划，可用于不同的环境和编程言语。假如想在本地环境中运用，可以运用 CSV 和 JSON 格局。

研讨&论文

大众号后台回复关键字 日报，免费获取整理好的论文合辑。

科研进展

• 2022.10.03 『图画生成』 From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution
• \2022. 10.04 『言语模型』 Knowledge Unlearning for Mitigating Privacy Risks in Language Models
• 2022.09.29 『图画切割』 3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation

⚡ 论文：From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution

论文时刻：3 Oct 2022

范畴使命：Image Generation, Image Super-Resolution，图画生成，超分辨率变换

论文地址：arxiv.org/abs/2210.00…

代码完结：github.com/csxmli2016/…

论文作者：Xiaoming Li, Chaofeng Chen, Xianhui Lin, WangMeng Zuo, Lei Zhang

论文简介：Notably, face images, which have the same degradation process with the natural images, can be robustly restored with photo-realistic textures by exploiting their specific structure priors./值得留意的是，人脸图画与天然图画具有相同的退化进程，经过运用其特定的结构先验，可以用相片般实在的纹路进行稳健的康复。

论文摘要：设计适当的练习对对现实国际的低质量（LQ）图画进行超级解算至关重要，但在获取成对的地上实在HQ图画或组成相片般逼真的退化观测值方面存在困难。最近的作业首要是经过用手艺制造的或估量的退化参数来模仿退化来躲避这一问题。然而，现有的组成退化模型没有才能模仿杂乱的实在退化类型，导致对这些场景的改进有限，比方老相片。值得留意的是，人脸图画与天然图画有相同的退化进程，经过运用其特定的结构先验，可以用相片般实在的纹路进行稳健的修复。在这项作业中，咱们运用这些现实国际的LQ脸部图画和它们修复后的HQ对应物来模仿杂乱的实在退化（即ReDegNet），然后将其转移到HQ天然图画上，以组成其现实的LQ。具体来说，咱们把这些成对的HQ和LQ脸部图画作为输入，明确地预测退化感知和内容无关的表征，这些表征操控着退化图画的生成。随后，咱们将这些实在的退化表征从人脸转移到天然图画，以组成退化的LQ天然图画。实验标明，咱们的ReDegNet可以很好地从人脸图画中学习到实在的退化进程，并且用咱们的组成对练习的修复网络在对立SOTA时体现良好。更重要的是，咱们的办法供给了一种新的办法来处理不可组成的实在国际场景，经过其中的人脸图画来学习它们的退化表征，这可以用来进行专门的微调。源代码可在 github.com/csxmli2016/… 获取。

⚡ 论文：Knowledge Unlearning for Mitigating Privacy Risks in Language Models

论文时刻：4 Oct 2022

范畴使命：Language Modelling, Pretrained Language Models，言语模型，预练习言语模型

论文地址：arxiv.org/abs/2210.01…

代码完结：github.com/joeljang/kn…

论文作者：Joel Jang, Dongkeun Yoon, Sohee Yang, Sungmin Cha, Moontae Lee, Lajanugen Logeswaran, Minjoon Seo

论文简介：Pretrained Language Models (LMs) memorize a vast amount of knowledge during initial pretraining, including information that may violate the privacy of personal lives and identities./预练习的言语模型（LMs）在开始的预练习中记忆了很多的常识，包含或许侵略个人日子和身份隐私的信息。

论文摘要：预练习言语模型（LMs）在开始的预练习中会记忆很多的常识，包含或许侵略个人日子和身份隐私的信息。以前解决言语模型隐私问题的作业大多会集在数据预处理和差异化隐私办法上，这两种办法都需求从头练习根底的LM。咱们提出常识免除学习（unlearning）作为一种替代办法来削减LM的过后隐私风险。咱们标明，简单地将非或许性练习目标运用于目标符号序列，就能有用地忘记它们，而几乎不降低一般言语建模的功能；有时乃至只需几次迭代就能大幅进步根底LM。咱们还发现，按顺序免除学习较量图一次性免除一切数据的学习要好，并且免除学习在很大程度上取决于被忘记的数据（范畴）的种类。经过展现与以前的数据预处理办法的比较，咱们标明，在易受提取攻击的数据是预先知道的情况下，免除学习可以供给更强的经验隐私确保，同时在计算上更有用率。咱们发布了复现咱们结果所需的代码和数据集：github.com/joeljang/kn…

⚡ 论文：3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation

论文时刻：29 Sep 2022

范畴使命：Image Segmentation, Medical Image Segmentation, 图画切割，医疗图画切割

论文地址：arxiv.org/abs/2209.15…

代码完结：github.com/masilab/3du…

论文作者：Ho Hin Lee, Shunxing Bao, Yuankai Huo, Bennett A. Landman

论文简介：Hierarchical transformers (e. g., Swin Transformers) reintroduced several ConvNet priors and further enhanced the practical viability of adapting volumetric segmentation in 3D medical datasets./分层transformer（如Swin transformer）从头引入了几个ConvNet先验，并进一步增强了在三维医疗数据会集习惯体积切割的实践可行性。

论文摘要：视觉transformers（ViTs）现已敏捷取代了卷积网络（ConvNets），成为现在最先进的（SOTA）医学图画切割模型。分层transformers（如Swin transformers）从头引入了几个ConvNet先验，并进一步增强了在三维医疗数据会集习惯体积切割的实践可行性。混合办法的有用性首要归功于非局部自我留意的大接收场和很多的模型参数。在这项作业中，咱们提出了一个轻量级的体积紧缩网络，称为3D UX-Net，它运用ConvNet模块习惯分层变换器，以完结稳健的体积切割。具体来说，咱们从头审视了具有大核尺度（例如从777开始）的体积深度卷积，以完结更大的全局感受野，其创意来自Swin Transformer。咱们进一步用点式深度卷积替代Swin Transformer块中的多层感知器（MLP），并经过削减归一化和激活层来进步模型功能，然后削减模型参数的数量。3D UX-Net与现在的SOTA转化器（如SwinUNETR）竞争，运用了三个关于体积脑和腹部成像的挑战性公共数据集：1）MICCAI Challenge 2021 FLARE，2）MICCAI Challenge 2021 FeTA，和3）MICCAI Challenge 2022 AMOS。3D UX-Net始终优于SwinUNETR，改进起伏从0.929到0.938 Dice（FLARE2021）和0.867到0.874 Dice（Feta2021）。咱们用AMOS2022进一步评价了3D UX-Net的转移学习才能，并证明了2.27%的Dice改进（从0.880到0.900）。咱们提出的模型的源代码可在 github.com/MASILab/3DU… 获取。

咱们是 ShowMeAI，致力于传播AI优质内容，分享职业解决方案，用常识加速每一次技术生长！

◉ 点击 日报合辑，在大众号内订阅论题 #ShowMeAI资讯日报，可接收每日最新推送。

◉ 点击 电子月刊，快速浏览月度合辑。