一、开源背景
随着移动互联网的高速开展，人们的出产生活也逐步从 PC 电脑端转移到手机等移动端，各类移动 App 也如漫山遍野般产生。受限于代码的开发质量等原因， App 中或多或少的会存在安全缝隙或因开发规划不谨慎引进的违规收集个人信息等合规危险，带缝隙运行的 App 将严重威胁着网络及用户安全，合规问题则可能遭到监管通报乃至存在下架处罚危险。
因而，企业也在加大人力进行缝隙及合规危险发掘并推进修正等相关工作，目前行业界遍及采用人工审计加自动化检测工具去发现危险。不过随着数量越来越巨大的缝隙，以及 App 隐私合规等问题的呈现，安全人员面临的应战逐步晋级，故一个有用的缝隙及合规危险自动化检测工具将为安全人员的人工发掘提供良好弥补，也节省了大量时刻和人力。
在字节跳动，面对数量很多的 App 产品，无恒实验室需要在产品上线前发现隐私合规危险，发掘出安全缝隙，维护用户的数据与隐私安全。无恒实验室对业界自动化 App 缝隙检测工具进行了充分调研，终究发现这些工具或由于漏报、误报率太高导致需要消耗大量人力对扫描成果进行承认，或由于不开放源码导致无法根据特定的扫描需求进行定制化开发。为了能更好的完结高质量缝隙及隐私合规检测，无恒实验室自主研发了 appshark 引擎，用于缝隙及隐私合规危险的自动化检测。无恒实验室选择将这个引擎开源，成为一个公共的工具，希望吸引更多业界专家参加打磨，为企业及白帽子做 App 危险检测提供便利。
二、全面了解 appshark
1、appshark 的介绍
appshark 除了完结行业遍及运用的数据流剖析，还将指针剖析与数据流剖析融合，因而缝隙建模上更精准，规矩更灵敏，在误报率和漏报率方面有了比较大的改善。
2、appshark 能够解决什么问题
appshark能够作为公司内部的 Android App 的自动化检测工具，辅助企业发现 App 的安全缝隙及隐私合规危险，也能够作为白帽子日常 App 缝隙发掘的帮手，进步缝隙发掘的功率及产出。
3、appshark 在字节跳动的表现如何
appshark 加载全部规矩集时，对于抖音、今日头条等超大规模 App，能够在1小时内完结一切剖析并输出成果。一起，如前所述，由于 appshark 引擎中加入了指针剖析和数据流剖析，能够完结在此基础上进行愈加灵敏精准的规矩规划，在字节跳动内部运用时，大部分规矩的误报率和漏报率均已经降至5%以下了。
三、如何运用 appshark
git 开源项目地址：github.com/bytedance/a…
接下来以一个常见缝隙案例来展示介绍如何运用 appshark：
1、ContentProvider 缝隙为例
ContentProvider 作为安卓中最通用的组件，不少有经历的程序员也常常会写出越权缝隙，如下便是一个十分显着的有越权问题的示例。
<providerandroid:name=".VulProvider1"android:authorities="slipme1"android:exported="true"/>
publicclassVulProvider1extendsContentProvider{
@Override
publicParcelFileDescriptoropenFile(@NonNullUriuri,@NonNullStringmode)throwsFileNotFoundException{
Fileroot=getContext().getExternalFilesDir("sandbox");
Stringpath=uri.getQueryParameter("path");
returnParcelFileDescriptor.open(newFile(root,path),ParcelFileDescriptor.MODE_READ_ONLY);
}
}
2、编写扫描规矩
appshark 有十分灵敏的规矩来指定 source 以及 sink， 详细的介绍文档能够参阅 github.com/bytedance/a… source 以及 sink，一般把外部用户可直接或直接控制的变量视为 source，显着 openFile 的参数0也便是 uri 是用户可控制的，而 sink 点比较适宜的一个地方是ParcelFileDescriptor.open的参数0，由于如果 source 能够控制ParcelFileDescriptor.open参数0，那么基本上就能够读取任何文件了。
因而我们的规矩 ContentProviderPathTraversal.json 如下：
{
"ContentProviderPathTraversal":{
"SliceMode":true,
"traceDepth":14,
"desc":{
"name":"ContentProviderPathTraversal",
"category":"",
"wiki":"",
"detail":"如果ContentProvider重写了openFile，可是没有对Uri进行路径合法性校验，那么攻击者可能经过在uri中刺进../的方法拜访预期外的文件",
"possibility":"",
"model":""
},
"source":{
"Param":{
"<*:android.os.ParcelFileDescriptoropenFile(*)>":[
"p0"
]
}
},
"sink":{
"<android.os.ParcelFileDescriptor:android.os.ParcelFileDescriptoropen(java.io.File,int)>":{
"TaintCheck":[
"p0"
]
}
}
}
}
3、经过 github 下载 config 文件夹
gitclonehttps://github.com/bytedance/appshark
4、修改 config 文件
- 将 apkPath 修改为你想要扫描的apk绝对路径。为了便利，能够在这里下载参阅：github.com/nkbai/Bypas…
- 指明你要运用的规矩，也便是 ContentProviderPathTraversal.json 文件，这个文件应该放在 config/rules 目录下，由于 appshark 是经过这个路径来查找这些规矩的。
- 指定输出成果保存的目录，默认是当前目录下的 out 文件，你能够指定一个其他目录。
5、发动 appshark
先下载：github.com/bytedance/a…
java-jarAppShark-0.1-all.jarconfig/config.json5
6、检查成果
成果在当前目录的 out/results.json 文件中，里面给出了一切的缝隙列表。关于成果的详细解说请检查github.com/bytedance/a… url 字段指明的HTML文件。
针对这个缝隙，你应该能够在 results.json 中看到，存在缝隙的函数（position），缝隙传播的数据流（target）:
{
"details":{
"Sink":[
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->$r5"
],
"position":"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>",
"entryMethod":"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>",
"Source":[
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->@parameter0"
],
"url":"out/vulnerability/6-ContentProviderPathTraversal.html",
"target":[
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->@parameter0",
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->$r1",
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->$r2_1",
"<com.security.bypasspathtraversal.VulProvider1:android.os.ParcelFileDescriptoropenFile(android.net.Uri,java.lang.String)>->$r5"
]
},
"hash":"186d1273a64ac711c703e259ce0329fa8a25cf37",
"possibility":""
}
四、后续方案
appshark 会长时间维护，欢迎我们运用，欢迎沟通提主张以及贡献代码。
五、关于无恒实验室
无恒实验室 (security.bytedance.com/security-la…) 是由字节跳动资深安全研讨人员组成的专业攻防研讨实验室，致力于为字节跳动旗下产品与事务保驾护航，亦极为注重开源软件与系统对事务安全的影响，在检测公司引进的开源结构和系统的一起，无恒实验室也着力于构建第三方结构和组件的缝隙缓解机制，并将继续与业界共享研讨成果，帮忙企业事务防止遭受安全危险，亦望能与业界同行共同协作，为网络安全行业的开展做出贡献。
欢迎运用反应，加入appshark微信沟通群（增加运营微信拉群：easylifejust）
