各位园子里的朋友,我有个应用场景,希望大家跟我出出解决方案,场景内容如下:
数据库【Oracle】中有个表(TableA),表中有若干字段,其中有个字段《Consumer》,共10000条记录,现这张表访问压力比较大,我希望在高并发的情景下模拟实现以下功能:
客户端同时发起200个请求访问该表:
请求01=========>查询TableA,获取Consumer字段为【空】的前50记录,设置【Consumer】的值为【User01】;
请求02=========>查询TableA,获取Consumer字段为【空】的前50记录,设置【Consumer】的值为【User02】;
请求03=========>查询TableA,获取Consumer字段为【空】的前50记录,设置【Consumer】的值为【User03】;
。
。
。
请求200=========>查询TableA,获取Consumer字段为【空】的前50记录,设置【Consumer】的值为【User200】;
理想状态下,服务器端接收200个来自客户端的请求后,响应并处理完表行记录分配【update】操作,200个User之间分配的数据【各自50条】之间不会产生交集,该业务需要高效实现,Web客户端允许3秒时间内等待;
我个人的解决方案:
接收客户端的请求,并将请求放入队列,服务器端设置消费服务,逐条读取队列消息并处理,处理的过程中,Web端通过Ajax轮循,查看消息处理状态,如果采用多线程,同时读取并处理5个请求,那么这5个请求之间分配的行数据如何保持原子性?我考虑过采用事务隔离,但是对事务隔离不是特别熟悉了解,请园子的朋友帮帮忙出出方案,推翻我个人的方案亦可,谢谢各位技术大神;
这需求好怪!!
感觉消息队列不适用那种立马响应的场景——如果200个用户同时发送请求,队列最后一个用户可能要等待时间比较长了。
不清楚是否有一种“查询加锁”的方式,加锁后该记录可以不被查询到1
观望其他精彩答案!!!
多个并发查询加锁以后整个表查询就非常慢了,可能是我使用得不对,我使用的是selelct for update语句;
@Mr.Yuan:
我说的是for update语句,这个只锁被查询的记录吧。
突然想到一个办法,借用中间表,查询到的 id 记录到中间表,其他查询查询排除中间表id相同的记录。
@qingYun: 你好,朋友,我之前的解决方案就是加行级锁,结果就是查询等待,严重影响查询效率,我用sql trace分析过,行级锁确实影响select性能;
@Mr.Yuan:
你这个数据表数据并不多呀,我刚才说的利用中间表你试过么?
@qingYun: 我这里只是举例,实际上数据量是非常大的,最低应该也有10W级。你说的中间表,实际上也存在并发写的问题,对吧。
队列确实存在响应速度问题
@Mr.Yuan:
写入怎么会有并发问题呢?一般只是多客户访问共同的记录才会有并发吧。。。
(10w也不多)数据表实在过大的话,可以考虑对数据库进行优化,要看具体业务需求。
话说为什么你有这个需求呢?这是什么场景???
@qingYun: 并发查询写入,毕竟没有锁住查询的目标行,存在同时select到同一行再写入中间表的可能。