本文分享自华为云社区《大数据处理方案：处理T+0问题》，作者： 小虚竹 。

T+0问题

T+0查询是指实时数据查询，数据查询统计时将触及到最新发生的数据。在数据量不大时，T+0很简单完结，直接依据出产数据库查询就能够了。可是，当数据量堆集到一定程度时，在出产库中进行大数据量的查询会耗费过多的数据库资源，严峻时会影响买卖事务，这就不能接受了，究竟出产买卖是更关键的使命。所以，咱们常常会把很多用于查询分析的前史数据从出产库中分离出去，运用独自的数据库存储和查询，以保证查询统计不会影响出产事务，这便是常说的冷热数据分离。

数据分离后就会发生T+0问题。数据拆分到两个数据库中，要查询全量数据就触及跨库查询。并且，咱们知道，用于买卖的出产库大多运用能够保证事务共同性的RDB，而分离出来的冷数据（量大且不再修改）则会更多运用专门的分析型数据库或数据渠道存储，即使是关系数据库也很可能与本来的出产库类型不同，这就不只触及跨库，还需要跨异构库（源）查询。惋惜的是，当前完结跨库查询的技能都存在这样那样的问题。

数据库本身的跨库查询功能（如Oracle的DBLink、MySQL的FEDERATED、MSSQL的Linked Server等）一般是将远程数据库的数据拉到本地，再在本地完结包括过滤在内的大部分核算，整个过程非常低效。不只如此，这种办法还存在数据传输不稳定、不支撑大目标操作、可扩展性低等许多不足。

除了数据库本身的跨库查询才能，运用高级言语硬编码也能够完结跨库查询，究竟没有什么问题不是硬编码处理不了的。这种办法尽管灵敏，但运用难度却很大，特别关于当前大部分运用的开发言语Java来说，缺少满足的结构化数据核算类库使得完结跨库查询后的核算很难完结，一般只能做简略的列表式查询，而触及到统计汇总类的运算就会异常麻烦。

事实上，要处理分库后的T+0查询问题也并非难事，只需有具有这样一些才能的核算引擎就能够完结：能够对接多种数据源；具有不依赖数据库的完善核算才能以完结多库数据归集后的数据核算工作；还能够运用数据库（源）的才能充分发挥数据库的效能；供给简略的数据核算接口；功能相对理想等。

引进SPL

能够凭借开源SPL能够完结这些目标。SPL是一款开源数据核算引擎，供给了很多结构化数据核算函数并具有完备核算才能，支撑多数据源混合核算，能够一起衔接存储热数据的事务库和存储冷数据的前史库完结全量数据T+0查询。

由于具有独立且完善的核算才能，SPL能够分别从不同的数据库取数核算，因而能够很好习惯异构数据库的情况，还能够依据数据库的资源情况决定核算是在数据库仍是SPL中施行，非常灵敏。在核算完结上，SPL的敏捷语法与过程核算能够大大简化T+0查询中的复杂核算，提高开发功率，SPL解说履行支撑热部署。更进一步，依托SPL的强核算才能还能够完结冷热数据分离时的ETL使命。

SPL还供给了自有的高功能二进制文件存储，对功能要求较高时能够将前史冷数据运用文件存储，再凭借SPL的高功能算法与并行核算来提高查询功率。此外，SPL封装了规范运用接口（JDBC/ODBC/RESTful）供运用集成调用，也能够将SPL嵌入运用中运用，这样运用就轻松具有了T+0查询与复杂数据处理才能，将核算和存储分离也更符合当代运用架构的需要。

冷热混合核算

关于常见的冷热分库T+0查询场景，SPL完结很简略，这儿看一个比方。

本例中，Oracle作为出产库存储当期热数据，MySQL存储前史冷数据。前端传入一句规范SQL（A2），再凭借SPL的转换功能将规范SQL转换成对应数据库的语法（B3）并发给数据库查询（B4），最终归并成果进行最终的汇总运算（A5）。这儿运用了多线程并行办法（A3）一起履行两个SQL，功率更高。

在这儿，SPL不只完结了两个数据库的跨库查询，还供给了SQL转换办法，更利于前端运用运用，一起具有合并两个数据库核算成果后的继续核算才能，本例是分组汇总。SPL还有更丰厚的结构化数据目标及其上的丰厚运算，除了分组汇总、循环分支、排序过滤、调集运算等根底核算外，位置核算、排序排名、不规则分组也不在话下。

除了RDB，关于有些场景触及的NoSQL、Hadoop等数据源也能支撑，SPL具有多源混算才能，不管依据何种数据源都能够进行混合查询完结T+0。比方MongoDB与MySQL混合查询：

SPL的核算才能还能用于ETL，将出产数据转移到前史库中，还常常伴随一些转换核算，这些都能够运用SPL来完结。比方出于某些原因，要将出产数据某些编码字段通过某个对照表转换成另一种编码（恪守共同性的编码规则、收拾数据类型取得更好功能等），而对照表一般并不会存在出产库中，而不能直接在出产库中核算好，这就触及多数据源核算了。

高功能

前史冷数据量可能很大，运用RDB存储简单受到资源容量等因素约束，并且数据读取功率很差。相比之下，文件存储具有许多优势，不只读取功率更高，还能够有用运用文件紧缩、并行等机制提速，一起也不会像数据库简单受到容量的约束。不过，敞开的文本格局运用功率不高（无紧缩、解析数据类型慢等），一般会运用二进制格局文件。别的，文件存储的最大问题是没有核算才能，不像数据库运用SQL能够很便利完结数据处理，通过硬编码处理的难度很大。

这些问题都能够通过SPL来处理，SPL供给了两种高功能二进制数据存储格局集文件和组表，再凭借SPL的独立核算才能能够直接依据文件和数据库混合核算完结高效T+0查询。比方前面的比方，能够运用SPL文件存储前史冷数据与出产库热数据混合查询。

将前史数据存储在文件后与出产库混合查询，前史数据运用游标能够支撑大数据场景，A4针对文件游标进行分组汇总，A5归并数据并汇总分组成果。这儿运用了SPL供给的二进制集文件（btx），相对文本愈加高效。集文件采用了紧缩技能（占用空间更小读取更快），存储了数据类型（无需解析数据类型读取更快），支撑可追加数据的倍增分段机制，运用分段策略很简单完结并行核算，保证核算功能。

SPL还有别的一种支撑列存的高效存储方式组表，在参与核算的列数（字段）较少时会有巨大优势。组表上还完结了minmax索引，也支撑倍增分段，这样不只能享受到列存的优势，也更简单并行提高核算功能。

SPL还支撑各种高功能算法。比方常见的TopN运算，在SPL中TopN被理解为聚合运算，这样能够将高复杂度的排序转换成低复杂度的聚合运算，并且很还能扩展运用范围。

这儿的语句中没有排序字样，也不会发生大排序的动作，在全集仍是分组中核算TopN的语法基本共同，并且都会有较高的功能，相似的算法在SPL中还有许多。

SPL也很简单施行并行核算，发挥多CPU的优势。SPL有许多核算函数都供给并行机制，如文件读取、过滤、排序只需增加一个@m选项就能够主动施行并行核算，简略便利。

易集成

SPL封装了规范JDBC和ODBC接口供运用调用，特别关于Java运用能够将SPL嵌入运用内运用，T+0查询才能在运用端完结，不再依赖数据源，这样能够充分解耦运用与数据源，取得很好的移植性和可扩展性。

JDBC调用SPL 代码示例：

Class.forName("com.esproc.jdbc.InternalDriver");
Connection conn =DriverManager.getConnection("jdbc:esproc:local://");
Statement st = connection.();
CallableStatement st = conn.prepareCall("{call splscript(?, ?)}");
st.setObject(1, 3000);
st.setObject(2, 5000);
ResultSet result=st.execute();

SPL是解说履行的，天然支撑热切换。依据SPL的数据核算逻辑编写、修改后不需要重启，实时收效，使开发运维愈加快捷。

相对其它T+0完结技能，SPL凭借本身独立的强核算与跨数据源核算才能能够更便利完结T+0查询，一起供给的高功能存储和高功能算法能够充分保障查询功率，良好的集成性使得运用端能够轻松具有这些才能，是当之无愧的T+0查询利器。

参考资料

• SPL下载

• SPL源代码

点击重视，第一时间了解华为云新鲜技能~