京东店铺/商品批量复制下载软件 自动检测和去除重复商品：
近来有不少的朋友使用我们软件下载的商品出现重复的情况，特别是下载数量多的店铺时，这个是拍拍的数据显示的漏洞呢？还是拍拍的限制呢？我们暂时不清楚。
现在让我们看下这家商品数量超过4000的店铺：
使用下载软件抓取重复商品，为了方便查找，我们从第215页开始“下载列表”，首先在软件选项先设置一下：
将“自动检测重复商品”功能关闭，“下载列表”从第200页开始下载。
接下去点“下载列表”：
下载完毕，再点一下“商品名称”，商品数据会自动排序，然后往下拖拉，开始看到有重复的数据，有些重复一次，有些是重复多次的：
商品标题一样，连商品链接也是一模一样的，这种情况是下载软件的问题吗？其实不是的，我们再回头看下这个店铺所有商品的数据，首先来查找一下刚才举例子的这两个商品是怎么重复的：
1、VANCL凡客诚品假日休闲羽绒包紫色0024273
这个商品分别在215页、218页、222页分别出现，后面没再继续查找...
1、VANCL凡客诚品[VT]短袖印花T恤Rainbow（女款）白色0005830
这个商品出现重复次数更多，为了减少篇幅，这里举三个地方为例，分别是在215页、216页、217，后面没再继续查找，基本上每页重复一次...
解决方案：软件里面包含了自动和手动去除重复商品的功能
1、自动方案：在选项里面勾选 自动检测重复商品 功能
“下载列表”完成的时候，软件提示：
自动删除之后，商品数量将会减少，其实去了重复之后的数量才是商品的真正数量。
2、手动方案：在“商品列表”的表格里面点右键可以看到，这个在右键说明已经有介绍，这里就不再罗嗦。