2023移动端技术探索

1. 职业背景

曩昔的2022年对咱们来说都是困难的一年，难在疫情影响，难在宏观环境的增加放缓。没有增加带来的便是苦楚的体会，对于互联网职业，21年的主题是“反996”，到了22年风向就变成了“降本增效”、“事务查找”以及“裁人”。再细化动移动端，通过十年的开展，它现已步入“老练期”，各行各业都被改造差不多了，技能上该有的轮子都有了，基础的服务也搭建差不多了，似乎真实到达瓶颈了，存量时代的小修小补对人力的需求现已是对半砍了。脉脉《抢滩数字时代人才迁徙陈述2023》陈述显现：2022年企业招聘总职位数量同比削减21.67%，纯互联网职位量同比削减50.4%。

又到了制定新一年OKR的时分了，咱们都在忧愁技能项目的规划，不知道在技能上去做哪些探究和打破。InfoQ发布的《我国软件技能开展洞悉和趋势猜测研究陈述2023》第三条核心定论显现：2022年技能服务理念转变，从技能先进到事务赋能，IT部分公司定位逐步由本钱部分转向事务赋能部分，技能也更被边缘化了，个人职业开展屏障呈现，这个时分咱们不禁对出路迷茫甚至产生质疑。再细化到移动端，《我国软件技能开展洞悉和趋势猜测研究陈述2023》展现的“我国技能老练度评估曲线”中前沿和前期推行项目貌似都与移动端没有太大关系。

本文测验从各个方面探究移动端能够开展的方向，最大程度的“压榨”或许的技能方向（有些仅仅抛出问题，而不是最终答案）。

2. 近两年大厂探究方向与成果

在发掘之前先看看大厂（或许是某个领域有所建树）这些年在做什么，看看有没有直接能够抄的作业。

2.1 21年出调研结果

21年初写OKR时对几个大厂做了调研，下面别离看看阿里、美团、京东做了什么，预备做什么：

阿里移动端技能全景图

阿里移动端开展趋势

美团移动端技能全景图

京东移动端技能全景图

京东移动端未来远景图

看起来都迥然不同，或许各个规划的公司都在建造或许建造完结。

2.2 22年产出

在看看22年大厂的输出，这儿首要来自于企业技能大众号输出内容。

2.2.1 阿里

阿里推出的《2022技能人的百宝黑皮书》总结了2022年阿里年度精选终端技能栈的内容：

2.2.2 美团

下面内容摘自美团技能发布的《2022年美团技能年货-合辑》：

2.2.3 百度

百度App技能大众号发布2022精选文章：

2.2.4 剖析

从上面三家企业对外输出的文章看，在移动端的动作不外乎几个方向：

1. 跨端/低代码
2. 功能优化
3. 自动化测验
4. 开发渠道/渠道化才能
5. AI

3. 移动端首要方向剖析

结合上面整理出来的，咱们看看移动端“能够”有哪些方向。

3.1 事务开发

事务开发仍是干流的市场需求，这块会占大部分的份额，IT部分从本钱部分转为赋能部分后，首要的工作量便是支撑事务。

3.2 跨端/低代码

在降本增效的背景下，跨端还会持续搞，可是也不是新东西了。H5、React、Flutter、小程序，这些都各有利弊，不同场景用不同技能，像小程序这种更适合渠道化的超级APP，规划不够大的话，性价比不高。

3.3 功能优化

相同的，功能优化也是需求持续做的工作，可是也不是新东西了，一些技能手段都比较老练了，没有太多可发掘的空间了。

3.4 架构方向

架构办理方向跟着规划的缩短，很难呈现时机了。

3.5 开发渠道建造

在公司内部，类似于蚂蚁的mPaas开发渠道在事务快速成长期对提效会有很大的协助，这个时分跟着事务的裂变，推出各种APP，开发渠道能够防止许多重复的工作，助力使用快速上线和运营，可是在缩短期再去建造就有点不划算了。

单点的渠道才能，比方监控、埋点之类的或许用第三方或许也自建完结了，对缺失的单个才能，能够根据事务需求点滴建造。

3.6 体系使用/Framework/驱动开发

跟着AI、Iot、新能源的开展与兴起，释放出一些体系开发的诉求，相对于之前，嵌入式驱动开发的薪资也有所增加，也算是一个方向，可是也要记住，比起手机，电视、汽车毕竟是少量，如果纯转嵌入式的话或许沾Iot的光规划更大些，不过比起芯片，这也是比较老练的技能，可发掘方向不大，仅仅多了个写事务的战场。

3.7 XR

现在比较老练的是VR，可是VR在端上展现首要根据H5，收集会有单独硬件，有些也支撑了手机收集，可是仍是那句话，市场需求不大。至于AR、元世界更多的是AI的综合使用了，咱们也不评论了。

3.8 音视频

音视频一直是移动端比较大和前沿的一块方向，可是现在也已趋于老练，下面看看首要的几个方向：

• 点播：播映器的工作，首要涉及多解码期、预加载秒开，剩下的交给体系播映器都能够完结的很好了；
• 录制：体系录制工具，或许根据体系收集、编码、封装封装一套；
• 视频编辑和特效处理：编辑首要是解复用—>解码—>逐帧处理—>编码—>复用的进程，逐帧处理用到视频上首要设计组成、滤镜等；音频首要是变声、声响交融，都是通用的技能，稍微体现差异的便是特效处理中与AI的结合，比方美颜、带眼镜等会用到图画检测，可是都不是门槛，也谈不上前沿讨论；
• 直播：直播也相同有老练的结局方案：收集推流，开源服务端以及老练CDN，播映ijk，秒开之类的都是参数优化了；
• 实时音视频：实时音视频开发本钱比较高，首要的应战是弱网对立，3A处理等，由于不是通用协议，没有CDN，自己搭建机房本钱高，并且不见得作用比第三方好，所以也是一件性价比比较低的工作。
• 编解码：现在干流的仍是H264，VP8，H264甚至都没有推开，约束编解码算法的首要是推行和兼容性，所以编解码器都是一些安排去搞，一个公司轻率去开发，风险很大。

3.9 AI

人类一直在寻求更智能的机器，AI是未来，所以即使现在不够好，并且没有找到太多的落地场景，可是许多公司还在搞，尤其是ChatGPT的才能让咱们惊奇，可是它依然不是真实的“像人类一样”的智能。现在通用的AI首要有一下几个方向：

1. 语音方向

   1. 前端信号处理
   2. 唤醒
   3. 语音辨认
   4. 声纹
   5. TTS
   6. 作曲：抖音之前分享有过这方面实践和使用
   7. 根据特征的语音编码：比方谷歌推出的的lyra和SoundStream，Lyra的设计工作速率为3kbps，听力测验标明，在该比特率下，Lyra的功能优于任何其他编解码器，并优于Opus的8kbps，因此实现了60%以上的带宽削减。可是正如上面说的，编解码器的瓶颈首要仍是在于规范的推行。

2. 图画方向

   1. 检测
   2. 辨认
   3. 图画比较（使用于UI自动化测验）

3. 自然语言处理

   1. 智能问答
   2. 意图辨认
   3. 文档纠错

4. 风控

5. 引荐

6. 用户画像

7. 元世界/数字人：数字人更像是一个AI的综合使用。

还有些特别的特别事务场景的特别用户，比方房产领域：

1. 户型解读（根据图画的特别特征）
2. 练习场

对于AI，移动端能够做哪些探究？回答这个问题先要搞理解哪些场景适配放在端上来做。Android官方给了一个决议计划的规范：

上面说到的特别需求在端上使用的首要有：

1. 唤醒
2. 图画检测
3. 语音编解码

能够放在端上使用的：

1. ASR
2. TTS
3. 图画标签

根据这些场景端上的首要工作量是什么呢？模型练习大部分仍是放在云端，端上便是加载模型，输入数据，展现输出结果，还有或许便是对引擎，框架做些优化：

4. 总结

整体来看，整个移动端技能的开展能够说到了“穷途末路”的境地，可发掘的创新型内容不是许多了，大部分都是在现有体系维护和迭代。整体来看事务支撑仍是首要的需求来源，车机、Iot也释放出一些时机，跨端、开发渠道、功能优化、VR已趋于老练，端智能落地的仍是语音、图画这些通用的方向，深度结合事务的还有待发掘。现在的AI处理的仍是“决议计划”问题，从现在生成式到未来发明式通用的、”人类水平“的“智能”还有很长的路要走，谁也不能打包票说雷库兹韦尔提出的奇点理论的“奇点”能不能到来，什么时分到来，智能的进化不止是算法层面的，还会收到算力的影响，像《流浪地球》系列中的MOSS机器人是因为量子计算机算力快的加成。