博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
a foolish sync method about sync data from PostgreSQL to Oracle
阅读量:6205 次
发布时间:2019-06-21

本文共 3453 字,大约阅读时间需要 11 分钟。

使用以下脚步从PostgreSQL同步到Oracle的数据不一致。
 原因分析在后面
#!/bin/bash. /home/enterprisedb/.bash_profileEMAIL="noc@xxx.com dba@xxx.com"# check running marktest -f /home/enterprisedb/script/run/tbl_charge_xxxx.runif [ $? -eq 0 ]; thenSYNC_TIME_CHECK="'`ls -1 -l --time-style=+%F\ %T /home/enterprisedb/script/run/tbl_charge_xxxx.run|awk '{print $6" "$7}'`'" psql -t -h /tmp -p 1921 -U enterprisedb -d edb <
/home/enterprisedb/script/tbl_charge_xxxx.timeoutstats 2>&1select 'sync_time_out' where now()-$SYNC_TIME_CHECK::timestamp without time zone>interval '1 hour';EOFTIME_OUT_ERROR=0TIME_OUT_ERROR=`grep -c "sync_time_out" /home/enterprisedb/script/tbl_charge_xxxx.timeoutstats`if [ $TIME_OUT_ERROR -ne 0 ]; thenecho -e "`cat /home/enterprisedb/script/tbl_charge_xxxx.timeoutstats`\n\n`date +%F%T`\n sync xxxx xltj.msss.sa_sales_info_xxxx timeout!\n\nPlease Call Digoal!\n"|mutt -s "Sync xxxx XLTJ timeout!" $EMAILecho -e "sync timeout"fiexit 3fi# create running marktouch /home/enterprisedb/script/run/tbl_charge_xxxx.runMAX_T="'`psql -t -h /tmp -p 1921 -U enterprisedb -d edb -c "select max(id) from msss.tbl_charge_xxxx_recent@edb.xl_local"|sed -e 's/ //g'`'"echo $MAX_Tpsql -t -h /tmp -p 1921 -U enterprisedb -d edb <
/home/enterprisedb/script/tbl_charge_xxxx.stats 2>&1begin;select 'start sync: '||now();delete from msss.tbl_charge_xxxx_recent@edb.xl_local where id < $MAX_T ;insert into msss.tbl_charge_xxxx_recent@edb.xl_local (id,mobile,xxxxxx,xxxx,mobi_factory,mobi_mode,hsv,org_id,ver,send_date,create_date,MODEVER,BUILDTIME) select id,trim(coalesce(phonenum,'nvl')),trim(xxxxxx),trim(xxxx),trim(coalesce(hsman,'nvl')),trim(coalesce(hstype,'nvl')),to_number(hsversion,'99999999999999999999'),trim(hsman),to_number(appversion,'99999999999999999999'),to_char(motime,'yyyymmddhh24miss'),to_char(createtime,'yyyymmddhh24miss'),trim(coalesce(SOFTVERSION,'nvl')),trim(coalesce(SOFTCOMPILETIME,'nvl'))from xxxx.tbl_charge_xxxx@edb.xxxx_pg whereid > ${MAX_T}and appid=810007;insert into msss.SA_SALES_INFO_xxxx@edb.xl_local (id,mobile,xxxxxx,xxxx,mobi_factory,mobi_mode,hsv,org_id,ver,mccid,MODEVER,BUILDTIME)selectid,coalesce(mobile,'nvl'),xxxxxx,xxxx,coalesce(mobi_factory,'nvl'),coalesce(mobi_mode,'nvl'),hsv,org_id,ver,case substring(xxxx,1,3) when ('234','235') then '234' when ('310','311','312','313','314','315','316') then '310' when ('430','431') then '430' when ('440','441') then '440' when ('460','461') then '460' else substring(xxxx,1,3) end,MODEVER,BUILDTIMEfrom msss.tbl_charge_xxxx_recent@edb.xl_localwhere id > ${MAX_T} ;commit;EOF# loggingcat /home/enterprisedb/script/tbl_charge_xxxx.stats >> /home/enterprisedb/script/tbl_charge_xxxx.log# delete running marksleep 10rm -f /home/enterprisedb/script/run/tbl_charge_xxxx.runERROR=0ERROR=`grep -c "ROLLBACK" /home/enterprisedb/script/tbl_charge_xxxx.stats`if [ $ERROR -ne 0 ]; thenecho -e "`cat /home/enterprisedb/script/tbl_charge_xxxx.stats`\n\n`date +%F%T`\n sync xxxx xltj error!\n\nPlease Call Digoal!\n"|mutt -s "Sync xxxx XLTJ error!" $EMAILecho -e "sync error"fi
逻辑大概是这样的:
根据PostgreSQL里面需要同步的表的PK,增量同步数据到Oracle。
看起来很美好,增量的,健康的。
问题就出在增量这里。如果系统中只有一个SESSION对这个表操作时,ID确实是随着时间递增的。
但是当有多个SESSION同时操作一个表时,SEQUENCE分配给多个SESSION,但是SESSION的COMMIT顺序可能与SEQUENCE的分配顺序不一致。从而抽取数据时会出现空隙的现象。
例如,有两个SESSION
session 1 获取到得SEQID是1-10
session 2 获取到得SEQID是11-20
session 2先提交,在session 1提交之前,数据同步到ORACLE了。
接下来同步取id>20的数据,因此1-10的数据就漏掉了。

另外,使用记录创建时间来抽取也存在类似问题,因为记录创建时间是事务的启动时间,不是提交时间。

转载地址:http://oehca.baihongyu.com/

你可能感兴趣的文章
阿里巴巴旗下平台口碑推出无人收银技术,改造便利店市场;重庆法院运用 AI 探索“智能判案”...
查看>>
OSCON上最受欢迎的Docker演讲
查看>>
安全专家教你如何利用Uber系统漏洞无限制的免费乘坐?
查看>>
Getting Started with PostgreSQL
查看>>
云计算时代企业内部IT人员的新定位
查看>>
《Linux From Scratch》第四部分:附录- 附录 D.2. The MIT License
查看>>
京东布局消费物联网 聚合产业链共建生态
查看>>
Android Coding利器之掌握小技巧,助你Coding更上一层楼~
查看>>
企业网站6个常见的优化漏洞
查看>>
Git 远程仓库分支管理
查看>>
C语言项目开发-项目架构和编程命名规范
查看>>
《中国人工智能学会通讯》——5.16 结 论
查看>>
SDN交换机在云计算网络中的应用场景
查看>>
IT团队如何赢得尊重?
查看>>
汽车之家的安全框架,是如何从0到1搭建的?
查看>>
中小企业大数据应用之道:思维在于借力
查看>>
革新以太网交换机架构 全光网络的风刮进园区
查看>>
揭开勒索软件的真面目
查看>>
开源与云计算
查看>>
人工智能时代号角已吹响 COMPUTEX如何凝聚AI这股力量?
查看>>