避免使用Java和JSON对象在mongoDB中重复输入

Question

我正在开发Twitter数据的分析程序。 我现在正在使用mongoDB。我尝试编写一个Java程序来从Twitter API获取推文并将它们放入数据库中。 获取Tweets已经运行得很好，但当我想将它们放入数据库时​​遇到问题。由于Twitter API通常只返回相同的Tweets，我必须在数据库中放置某种索引。

首先，我连接到数据库并获取与搜索项相关的集合，或者如果不存在，则创建此集合。

public void connectdb(String keyword) 
     { 
      try { 
       // on constructor load initialize MongoDB and load collection 
       initMongoDB(); 
       items = db.getCollection(keyword); 
       BasicDBObject index = new BasicDBObject("tweet_ID", 1); 
       items.ensureIndex(index); 



      } catch (MongoException ex) { 
       System.out.println("MongoException :" + ex.getMessage()); 
      } 

     } 

然后我得到的鸣叫，并把它们在数据库：

public void getTweetByQuery(boolean loadRecords, String keyword) { 

      if (cb != null) { 
       TwitterFactory tf = new TwitterFactory(cb.build()); 
       Twitter twitter = tf.getInstance(); 
       try { 
        Query query = new Query(keyword); 
        query.setCount(50); 
        QueryResult result; 
        result = twitter.search(query); 
        System.out.println("Getting Tweets..."); 
        List<Status> tweets = result.getTweets(); 

        for (Status tweet : tweets) { 

         BasicDBObject basicObj = new BasicDBObject(); 
         basicObj.put("user_name", tweet.getUser().getScreenName()); 
         basicObj.put("retweet_count", tweet.getRetweetCount()); 
         basicObj.put("tweet_followers_count", tweet.getUser().getFollowersCount()); 

         UserMentionEntity[] mentioned = tweet.getUserMentionEntities(); 
         basicObj.put("tweet_mentioned_count", mentioned.length); 
         basicObj.put("tweet_ID", tweet.getId()); 
         basicObj.put("tweet_text", tweet.getText()); 


         if (mentioned.length > 0) { 
//     System.out.println("Mentioned length " + mentioned.length + " Mentioned: " + mentioned[0].getName()); 
         } 
         try { 
          items.insert(basicObj); 
         } catch (Exception e) { 
          System.out.println("MongoDB Connection Error : " + e.getMessage()); 
          loadMenu(); 
         } 
        } 
        // Printing fetched records from DB. 
        if (loadRecords) { 
         getTweetsRecords(); 
        } 

       } catch (TwitterException te) { 
        System.out.println("te.getErrorCode() " + te.getErrorCode()); 
        System.out.println("te.getExceptionCode() " + te.getExceptionCode()); 
        System.out.println("te.getStatusCode() " + te.getStatusCode()); 
        if (te.getStatusCode() == 401) { 
         System.out.println("Twitter Error : \nAuthentication credentials (https://dev.twitter.com/pages/auth) were missing or incorrect.\nEnsure that you have set valid consumer key/secret, access token/secret, and the system clock is in sync."); 
        } else { 
         System.out.println("Twitter Error : " + te.getMessage()); 
        } 


        loadMenu(); 
       } 
      } else { 
       System.out.println("MongoDB is not Connected! Please check mongoDB intance running.."); 
      } 
     } 

但正如我前面提到的，经常有相同的微博，和他们在数据库中的重复。 我认为tweet_ID字段对于索引是一个很好的字段，并且在集合中应该是唯一的。

Answer 1

设置你的指数unique选项，MongoDB的强制唯一性：

items.ensureIndex(index, new BasicDBObject("unique", true)); 

请注意，您需要手动删除现有的索引并删除所有重复，否则您将无法创建独特的索引。

Answer 2

这个问题已经回答了，但我想既然MongoDB API 2.11提供接收唯一选项作为参数的方法贡献了一下：

public void ensureIndex(DBObject keys, String name, boolean unique) 

A小调提醒某人想在存储JSON文档谁MongoDBNote是唯一性必须应用于BasicObject键而不是值。例如：

BasicDBObject basicObj = new BasicDBObject(); 
basicObj.put("user_name", tweet.getUser().getScreenName()); 
basicObj.put("retweet_count", tweet.getRetweetCount()); 
basicObj.put("tweet_ID", tweet.getId()); 
basicObj.put("tweet_text", tweet.getText()); 
basicObj.put("a_json_text", "{"info_details":{"info_id":"1234"},"info_date":{"year":"2012"}, {"month":"12"}, {"day":"10"}}"); 

在这种情况下，你只能以基本对象键创建唯一索引：

BasicDBObject index = new BasicDBObject(); 
int directionOrder = 1; 
index.put("tweet_ID", directionOrder); 
boolean isUnique = true; 
items.ensureIndex(index, "unique_tweet_ID", isUnique); 

任何有关指数像JSON值“info_id”不会因为it's工作不是BasicObject键。

在MongDB上使用索引并不像听起来那么容易。您也可以在这里检查MongoDB文档以获取更多详细信息Mongo Indexing Tutorials和Mongo Index Concepts。一旦你需要一个组合索引，在这里很好地解释Why Direction order matter，方向顺序可能是非常重要的理解。