Bing Web Search API和黑名单（python）

Question

我正在使用Bing Web Search API来获取与特定查询匹配的URL。不幸的是，API结果中也有很多垃圾。

现在我创建了一个广泛的黑名单，这个“垃圾”的70％。

什么是最有效的方法来排除URL列表被附加到我的“结果”数组？

代码的有趣的部分：

results = [] 
try: 
    conn = http.client.HTTPSConnection('api.cognitive.microsoft.com') 
    conn.request("GET", "/bing/v5.0/search?%s" % params, "{body}", headers) 
    response = conn.getresponse() 
    data = response.read() 
    json_file = json.loads(data) 
    for i in range(len(json_file['webPages']['value'])): 
     results.append([count, json_file['webPages']['value'][i]['displayUrl']]) 
    conn.close() 
except Exception as e: 
    print(e) 

Answer 1

您可以尝试兵为此，自定义搜索。它允许您将结果与阻止功能一起限制到特定域/子网站/网页。您可以查看customsearch.ai的详细信息。免费钥匙可以从这里获得：https://azure.microsoft.com/en-us/try/cognitive-services/?api=bing-custom-search。