bitmap_hash
bitmap_hash
Name
BITMAP_HASH
Description
对任意类型的输入，计算其 32 位的哈希值，并返回包含该哈希值的 bitmap。该函数使用的哈希算法为 MurMur3。MurMur3 算法是一种高性能的、低碰撞率的散列算法，其计算出来的值接近于随机分布，并且能通过卡方分布测试。需要注意的是，不同硬件平台、不同 Seed 值计算出来的散列值可能不同。关于此算法的性能可以参考 Smhasher 排行榜。
Syntax
BITMAP BITMAP_HASH(<any_value>)
Arguments
<any_value>
任何值或字段表达式。
Return Type
BITMAP
Remarks
一般来说，MurMur 32 位算法对于完全随机的、较短的字符串的散列效果较好，碰撞率能达到几十亿分之一，但对于较长的字符串，比如你的操作系统路径，碰撞率会比较高。如果你扫描你系统里的路径，就会发现碰撞率仅仅只能达到百万分之一甚至是十万分之一。
下面两个字符串的 MurMur3 散列值是一样的：
SELECT bitmap_to_string(bitmap_hash('/System/Volumes/Data/Library/Developer/CommandLineTools/SDKs/MacOSX12.3.sdk/System/Library/Frameworks/KernelManagement.framework/KernelManagement.tbd')) AS a ,
bitmap_to_string(bitmap_hash('/System/Library/PrivateFrameworks/Install.framework/Versions/Current/Resources/es_419.lproj/Architectures.strings')) AS b;
结果如下：
+-----------+-----------+
| a | b |
+-----------+-----------+
| 282251871 | 282251871 |
+-----------+-----------+
Example
如果你想计算某个值的 MurMur3，你可以：
select bitmap_to_array(bitmap_hash('hello'))[1];
结果如下：
+-------------------------------------------------------------+
| %element_extract%(bitmap_to_array(bitmap_hash('hello')), 1) |
+-------------------------------------------------------------+
| 1321743225 |
+-------------------------------------------------------------+
如果你想统计某一列去重后的个数，可以使用位图的方式，某些场景下性能比 count distinct 好很多：
select bitmap_count(bitmap_union(bitmap_hash(`word`))) from `words`;
结果如下：
+-------------------------------------------------+
| bitmap_count(bitmap_union(bitmap_hash(`word`))) |
+-------------------------------------------------+
| 33263478 |
+-------------------------------------------------+
Keywords
BITMAP_HASH,BITMAP
Best Practice
还可参见
