为了避免重复写入数据，应由数据库实现（UNIQUE字段）？还是放在数据库写入之前判断呢？
tedd · 2013-08-28 11:06:07 +08:00 · 5881 次点击这是一个创建于 3900 天前的主题，其中的信息可能已经有所发展或是发生改变。
譬如我写个爬虫，每次爬了都会向数据库写入数据，但很多时候都是重复数据，为了避免重复数据的提交，我能想到的实现方法：
1、将某数据库字段设置为UNIQUE字段，通过insert or ignore table...来写sql语句
2、在sql insert语句之前，通过代码逻辑来判断是否insert，但这样貌似很麻烦：
- 先读取数据库内容
- if 希望插入的内容 in 数据库已有内容（python伪代码）
- 则pass
- 否则insert
这样实现效率肯定狂低吧...
1、将某数据库字段设置为UNIQUE字段，通过insert or ignore table...来写sql语句
2、在sql insert语句之前，通过代码逻辑来判断是否insert，但这样貌似很麻烦：
- 先读取数据库内容
- if 希望插入的内容 in 数据库已有内容（python伪代码）
- 则pass
- 否则insert
这样实现效率肯定狂低吧...
 |
1
lichao 2013-08-28 11:08:23 +08:00  1
当然是 UNIQUE
|
|
3
lichao 2013-08-28 11:28:35 +08:00 1
数据量很大 sqlite3 性能必然不高啊，sqlite3 大多用在移动平台或者嵌入式平台里面。
|
 |
5
awanabe 2013-08-28 11:43:52 +08:00
第二种情况可能出现的是 多个线程同时进入逻辑, 都去数据库查询, 返回都是no record, 然后同时插入, 还是会多次记录. 所以没有数据库的unique键, 还是存在问题.
这应该是经典的 put-if-absent 问题... |
 |
6
awebird 2013-08-28 12:44:26 +08:00
可以考虑用两张表读写分离，写数据插入a表的时候不做查询重复判断，id sequence自增，定时或者在数据库闲时，按id范围去重处理后归入b表做查询和其它用途，删除a表这个范围的数据
|
|
8
awebird 2013-08-28 12:59:15 +08:00 1
@zzNucker 不同方案适用于不同的应用场景吧。这样读写分离，适用于写频繁，读的少而且实时性要求不高的场景，比如写日志尽量要快，读日志哪怕等个几分钟半小时也可以接受。准实时的话，就缩短时间
|
 |
9
keakon 2013-08-28 13:02:53 +08:00
用 key / value 的吧…
|
Select Language