为什么std :: unordered_set的std :: hash函数不区分大小写？

Question

我的问题不在于使用不区分大小写的std :: unordered_set，而是它如何工作？

#include "stdafx.h" 
#include <string> 
#include <iostream> 
#include <unordered_set> 
#include "boost/algorithm/string.hpp" 


struct case_insensitive_comparer 
{ 
    bool operator() (const std::string& x, const std::string& y) const 
    { 
     return boost::iequals(x, y); 
    } 
}; 

using case_insensitive_set = std::unordered_set<std::string, std::hash<std::string>, case_insensitive_comparer>; 

std::vector<std::string> permute_case(const std::string& s) 
{ 
    std::vector<std::string> strs; 

    // Iterate through all bitmasks, 1 for uppercase, 0 for lowercase 
    int msb = 1 << (s.length() - 1); 
    int upper = 1 << s.length(); 
    std::locale loc; 
    for (int i = 0; i < upper; i++) 
    { 
     int bit = msb; 
     std::string current = ""; 
     for (size_t j = 0; j < s.length(); j++, bit >>= 1) 
      current += (bit & i) ? std::toupper(s[j], loc) : std::tolower(s[j], loc); 

     strs.push_back(current); 
    } 

    return strs; 
} 

int main() 
{ 
    std::vector<std::string> strs = permute_case("awesome"); 

    case_insensitive_set set(strs.begin(), strs.end()); 

    // Check the hash 
    for (auto& s : strs) 
     std::cout << s << " :" << std::hash<std::string>()(s) << "\n"; 

    // Check the element 
    for (auto& s : set) 
     std::cout << s << "\n"; 

    return 0; 
} 

所以我用std::unordered_set和字符串大小写不敏感的比较器的std::hash<std::string>作为哈希函数。我对散列集的基本理解（我假设unordered_set就像一个散列集）是它计算密钥的散列值，如果它还不存在，则将其放入集合中。并且比较器Pred是当集合试图插入一个密钥并且存在散列冲突时，它必须确定这些密钥是相同还是不同。

基于代码，它的工作原理不管，所以我的一些假设是不正确的。如果有人告诉我我的哪些假设是错误的，那将会很有帮助。

谢谢。

编辑：我对这种不区分大小写的期望是，应该只有1个关键插入，并且我观察到的情况，即只有AWESOME显示。所以对于我的情况，我认为它的工作，但真正的肯尼特答案，我只是幸运地把所有的钥匙都放在同一个桶里。我确实使用MSVC编译代码。

Answer 1

让我们回忆一下hash table是如何工作的。

1. 哈希表与容量Ñ是桶的阵列。这个桶通常是一个链表或二叉搜索树。从概念上你可能会觉得一个哈希表作为

   template <typename T> 
   class HashTable { 
       std::vector<std::forward_list<T>> _buckets; 
   
   public: 
       HashTable(size_t capacity = 16) : _buckets(capacity) {} 
       size_t bucket_count() const { return _buckets.size(); } 
   

2. 每一个关键ķ∈T能够被插入到哈希表的桶。选择何种桶，通过函数bucket_index它接受键ķ和容量Ñ作为输入来确定，并产生一个数组索引0≤我 < Ñ，该桶应的键属于。

   void insert(T&& key) { 
        // locate the bucket. 
        size_t i = bucket_index(key, bucket_count()); 
        auto& bucket = _buckets[i]; 
        // ensure the key does not already exist in the bucket 
        if (std::find(bucket.cbegin(), bucket.cend(), key) == bucket.cend()) { 
         // now insert the key into the bucket. 
         bucket.push_front(std::move(key)); 
        } 
       } 
   

3. 的bucket_index功能在散列函数方面典型地被实现，然后采取与容量的模量：

   private: 
       static size_t bucket_index(const T& key, size_t cap) { 
        return std::hash<T>()(key) % cap; 
       } 
   }; 
   

   注意，它不使用std::hash<T>()(key)直接：两个键只要hash % cap相等，就会指同一个桶。

---

这就是为什么OP的代码会显示在MSVC工作。在MSVC的执行unordered_set，初始容量是8。然后，如果你print the hash as hexadecimal，你会发现最后一位数始终c：

AWESOME :7552acc94fd16a5c 
AWESOMe :75528cc94fd133fc 
AWESOmE :75bf6cc9502dcf7c 
AWESOme :75bf8cc9502e05dc 
AWESoME :60234cc8b2d194fc 
... 
awesOme :976734d757ba79dc 
awesoME :81caf4d6ba5e08fc 
awesoMe :81cb14d6ba5e3f5c 
awesomE :815e34d6ba01a3dc 
awesome :815e14d6ba016d7c 

因此，hash % 8永远是4，即同一个桶出八将所有128个键选择。记住我们选择了一个桶之后会发生什么？我们检查一个关键字是否已经存在于链表中，因为只有第一个关键字“AWESOME”才会出现。

AWESOME 

这给这里只是更换==作品的错觉，而真正发生的事情只是MSVC的哈希函数质量很差。

---

为了进一步显示OP的代码“不起作用”，我们切换到另一个标准库。当用libC++使用clang时，我们得到以下结果：

AWESOME :1a285ecfc4bab378 
AWESOMe :acb9b7f4f69b16e2 
AWESOmE :fd66d9186a434601 
AWESOme :254b008bd66d1e29 
AWESoME :27cac8154bb934d0 
... 
awesOme :a4e8c2140834341e 
awesoME :cfd12a83da4a4b0f 
awesoMe :b4c4eb4c60968581 
awesomE :bdca27cd606f4f42 
awesome :14ddc089ab5badb5 

与MSVC的散列不同，libC++的散列是非常均匀分布的。的libC++的unordered_set的初始容量为2，并且两个桶填充，所以该组有两个要素：

AWESOmE 
AWESOME 

和OP的代码不会在一般工作。

---

注：在这里，我假定哈希冲突是由单独的链接处理，没有动态调整，虽然这二者都不会进入画面，因为==总是返回true。

Answer 2

问题是你有一个区分大小写的哈希器和一个不区分大小写的比较器。如果你使得哈希大小写不敏感，那么你只会得到一个单独的条目。

例如：

#include <boost/algorithm/string/case_conv.hpp> 

struct case_insensitive_hasher 
{ 
    size_t operator()(const std::string& key) const 
    { 
     std::string keyCopy(key); 
     boost::to_lower(keyCopy); 
     return std::hash<std::string>()(keyCopy); 
    } 
}; 

using case_insensitive_set = std::unordered_set<std::string, case_insensitive_hasher, case_insensitive_comparer>; 

输出将只包含真棒，第一个条目插入。