四时宝库

程序员的知识宝库

Oracle的listagg合并数据过多如何处理?

1、oracle合并列语句执行

我们知道,mysql里面有列合并group_concat函数,可以将多行数据合并为一行。

Oracle中也有这样的函数,我们通常使用listagg进行合并。闻名不如一见,看一下吧!

我这里以批量查询存储过程内容为例。

使用您的SQLPLUS或者Datagrip等工具,执行如下SQL。

-- 批量查询所有的存储过程名称及内容
select
 NAME, -- 存储过程名称
 (listagg(TEXT) within group ( order by LINE)) CONTENT -- 存储过程内容,数据库是按行存储了,所以需要把每一行的数据合并起来,才是完整的脚本
from USER_SOURCE
where TYPE = 'PROCEDURE'
group by NAME;

2、在存储过程内容很少的情况下被良好执行,简直完美

我在一个脚本内容少和脚本内容多的数据库下,使用相同的神技(复制粘贴大法)去执行一下,结果或或许会有些出乎您的意料!

可以看到,listagg在内容较少时毫无问题,运行流畅,简直跟mysql的group_concat一毛一样,于是我们就这样放在测试环境去了。

但一上测试,就报了一堆错误,一看就是这个SQL执行出错了。于是我把SQL在新的环境执行了一次。给我报了个字符串太长的错误,什么鬼嘛。

3、在存储过程内容很多的情况下执行报错了?为什么?

[72000][12801] 
ORA-12801: 并行查询服务器 P001 中发出错误信号 
ORA-01489: 字符串连接的结果过长 
Position: 0

这个玩意一看错误就很明显了,就是结果太长了,属于oracle的限制,那么我们看看到底有多长,不看不知道,一看吓一跳。

直接去看了对应的存储过程,发现,fuck, 四五千行的存储过程还真不少,都是一些抽数的脚本,真是吓了我一跳!于是想到这个该怎么解决呢?

于是我四处搜寻,辗转反侧,费尽心思后终于找到了大家都想要的答案,就是使用xmlagg来查询。

4、如何解决listagg内容超过字符串长度错误(使用xmlagg)?

-- 批量查询所有的存储过程名称及内容
select
 NAME, -- 存储过程名称
 (XMLAGG(XMLELEMENT(e, TEXT, '').extract('//text()') order by line).getClobVal()) CONTENT -- 存储过程内容,数据库是按行存储了,所以需要把每一行的数据合并起来,才是完整的脚本
from USER_SOURCE
where TYPE = 'PROCEDURE'
group by NAME


这下查出来了,本以为可以安心睡个午觉,做个甜美的梦了。然后居然有人说查询来的脚本内容不对,我百思不得其姐,于是决定亲自看看脚本内容。

5、如何解决xmlagg查询结果中被转义的字符(替换对应字符即可)

我咋一看,这些个符号是啥玩意啊,真是扯淡,oracle这都不给我处理好吗,原来是XML对这些特殊符号做了处理,真的是头痛如麻(吐槽了一句,垃圾XML),却也无可奈何。毕竟还得继续工作,养家糊口的压力在肩上担着,不可大意,继续改。

于是我把这些符号都给替换掉了。

< < 小于号
> > 大于号
& & 和
' ' 单引号
" " 双引号 

于是我的代码中多了如下一段代码

真狗啊,一个小小的功能折腾了我好几次,感觉头发都情不自禁的掉了几根。所以为了保住大家的头发,必须记录下来,因为自己淋过雨,才想为他人撑伞,记录是美好的习惯。

6、小结

主要记录了如何批量查询所有的存储过程内容(效率比逐个查询快很多),使用listagg合并脚本内容时,内容过多如何处理,就是使用xmlagg处理。而xmlagg查询的结果对特殊字符做了转义操作,需要我们在程序中将对应的转义符给替换掉。

发表评论:

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言
    友情链接