2021年4月10日星期六

从HotSpot VM源码看字符串常量池（StringTable）和intern()方法

引言

字符串常量池（StringTable）是JVM中一个重要的结构，它有助于避免重复创建相同内容的String对象。那么StringTable是怎么实现的？"把字符串加入到字符串常量池中"这个过程发生了？intern()方法又做了什么？上面的问题在JDK6和JDK7中又有什么不一样的答案？

网络上已经有海量的文章讨论过上面这些问题，但是不同的文章会给出截然相反的结论。

比如：

  • StringTable中保存的是String对象，还是String对象的引用？
  • new String("a")，是在堆里创建一个新的值为"a"的String对象，还是创建一个指向StringTable中代表"a"的value数组的对象？
  • new String("a") 和 字面量"a"产生的字符串对象，用的是不是同一个value数组？

想找到这些问题的准确答案，靠搜索引擎上面的资料实在太难了，还是直接看HotSpot VM的源代码更方便一点。这也印证了Linus Torvalds的那句名言：

"Talk is cheap. Show me the code."

源码中StringTable的结构

StringTable的底层结构

字符串常量池可以简单理解为就是一个hashmap的结构，记录的是字符串序列和String对象引用的映射关系。

在hotspot\share\memory\universe.cpp中对StringTable进行了初始化：

StringTable::create_table();

可以看看create_table()函数的源码，位于hotspot\share\classfile\stringTable.cpp

void StringTable::create_table() { size_t start_size_log_2 = ceil_log2(StringTableSize); _current_size = ((size_t)1) << start_size_log_2; log_trace(stringtable)("Start size: " SIZE_FORMAT " (" SIZE_FORMAT ")",       _current_size, start_size_log_2); _local_table = new StringTableHash(start_size_log_2, END_SIZE, REHASH_LEN); _oop_storage = OopStorageSet::create_weak("StringTable Weak"); _oop_storage->register_num_dead_callback(&gc_notification);}

里面最关键的是_local_table = new StringTableHash(start_size_log_2, END_SIZE, REHASH_LEN);

这一行代码对_local_table进行了初始化，这里的_local_table是一个static类型的变量，指向的是StringTableHash类的对象。

StringTableHash是什么？

StringTableHash是个别名，它实际上是hotspot\share\utilities\concurrentHashTable.hpp中定义的ConcurrentHashTable。如下：

typedef ConcurrentHashTable<StringTableConfig, mtSymbol> StringTableHash;static StringTableHash* _local_table = NULL;

ConcurrentHashTable的源码就不贴出来了，里面有注释说明它是A mostly concurrent-hash-table，简单来说就是支持并发操作的hash表，类似于jdk中的ConcurrentHashMap。

读到这里，可以得到以下信息：

  • StringTable只在universe.cpp中被初始化，之后都是共享的。
  • StringTable的底层是_local_table指向的ConcurrentHashTable，一个并发散列表。
  • StringTable的数据保存在一个静态变量中，全局共享。

StringTable支持的操作

StringTable里面的函数全部是static类型的，这意味着它是一个提供静态方法的类，是全局共享的。

下面是stringTable.hpp中定义的核心public函数列表：

public: static size_t table_size(); static TableStatistics get_table_statistics(); static void create_table(); static void do_concurrent_work(JavaThread* jt); static bool has_work(); // Probing static oop lookup(Symbol* symbol); static oop lookup(const jchar* chars, int length); // Interning static oop intern(Symbol* symbol, TRAPS); static oop intern(oop string, TRAPS); static oop intern(const char *utf8_string, TRAPS); // Rehash the string table if it gets out of balance static void rehash_table(); static bool needs_rehashing() { return _needs_rehashing; } static inline void update_needs_rehash(bool rehash) { if (rehash) {  _needs_rehashing = true; } }

从函数命名也可以看出StringTable主要支持的操作：

  • 创建，查看表信息和状态等操作如table_size()、create_table()、has_work()、get_table_statistics()
  • 查找字符串如lookup()，尝试池化字符串如intern()
  • hash相关操作如rehash_table()、needs_rehashing()

lookup()方法

对外部来说最关键的就是lookup()和intern()方法，intern()后面会再解释。这里先看看lookup()

lookup就是查找的意思，用于通过字符串查找对应的String对象。最终会执行到do_lookup()方法：

oop StringTable::do_lookup(const jchar* name, int len, uintx hash) { Thread* thread = Thread::current(); StringTableLookupJchar lookup(thread, hash, name, len); StringTableGet stg(thread); bool rehash_warning; _local_table->get(thread, lookup, stg, &rehash_warning); update_needs_rehash(rehash_warning); return stg.get_res_oop();}

这里可以看到这样一行代码： _local_table->get(thread, lookup, stg, &rehash_warning);

说明String对象最终是从_local_table中拿到的，返回值类型是oop也就是普通对象引用。

类数据共享（Class-Data Sharing）

从StringTable的另外一个Map说起

前面说到StringTable的底层是_local_table指向的concurrentHashTable。但我看的StringTable源码中（JDK16），还有另外一个Map：

static CompactHashtable< const jchar*, oop, read_string_from_compact_hashtable, java_lang_String::equals> _shared_table;

这里定义了一个CompactHashtable类型的变量_shared_table。并且有一些专门为其提供的方法：

 // Sharing private: static oop lookup_shared(const jchar* name, int len, unsigned int hash) NOT_CDS_JAVA_HEAP_RETURN_(NULL); public: static oop create_archived_string(oop s, Thread* THREAD) NOT_CDS_JAVA_HEAP_RETURN_(NULL); static void shared_oops_do(OopClosure* f) NOT_CDS_JAVA_HEAP_RETURN; static void write_to_archive(const DumpedInternedStrings* dumped_interned_strings) NOT_CDS_JAVA_HEAP_RETURN; static void serialize_shared_table_header(SerializeClosure* soc) NOT_CDS_JAVA_HEAP_RETURN; // Jcmd static void dump(outputStream* st, bool verbose=false); // Debugging static size_t verify_and_compare_entries(); static void verify();

因此去看了一下源码

_compact_buckets = MetaspaceShared::new_ro_array<u4>(_num_buckets + 1);_compact_entries = MetaspaceShared::new_ro_array<u4>(entries_space);

它是通过MetaspaceShared::new_ro_array来申请空间。ro表示了它是块只读的内存空间。

MetaspaceShared的源码注释中提到，它提供三种类型的空间分配：

// The CDS archive is divided into the following regions://  mc - misc code (the method entry trampolines, c++ vtables)//  rw - read-write metadata//  ro - read-only metadata and read-only tables

并且这三块空间在内存中是连续的。

看起来很奇怪，已经有了_local_table，为什么还需要用一个只读的空间来保存字符串？

而且Metaspace在JDK1.8中已经移动到本地内存中了，而字符串常量池此时是在堆中？

这就要提到下面的类数据共享了。

类数据共享的发展历史

下面的历史引自博客：Java12新特性 -- 默认生成类数据共享(CDS)归档文件

  • JDK5引入了Class-Data Sharing可以用于多个JVM共享class，提升启动速度，最早只支持system classes及serial GC。
  • JDK9对其进行扩展以支持application classes及其他GC算法。
  • java10的新特性JEP 310: Application Class-Data Sharing扩展了JDK5引入的Class-Data Sharing，支持application的Class-Data Sharing并开源出来(以前是commercial feature)
    • CDS 只能作用于 BootClassLoader 加载的类，不能作用于 AppClassLoader 或者自定义的 ClassLoader加载的类。在 Java 10 中，则将 CDS 扩展为 AppCDS，顾名思义，AppCDS 不止能够作用于BootClassLoader了，AppClassLoader 和自定义的 ClassLoader 也都能够起作用，大大加大了 CDS 的适用范围。也就说开发自定义的类也可以装载给多个JVM共享了。
  • JDK11将-Xshare:off改为默认-Xshare:auto，以更加方便使用CDS特性。

Java 10的Application Class-Data Sharing

Java 10中引入了Application Class-Data Sharing。在JEP 310中做了简单说明：

JEP 310: Application Class-Data SharingSummary	To improve startup and footprint, extend the existing Class-Data Sharing ("CDS") feature to allow application classes to 	be placed in the shared archive.Goals- Reduce footprint by sharing common class metadata across different Java processes.- Improve startup time.- Extend CDS to allow archived classes from the JDK's run-time image file ($JAVA_HOME/lib/modules) and the application class path to be loaded into the built-in platform and system class loaders.- Extend CDS to allow archived classes to be loaded into custom class loaders.

网上似乎没有多少资料谈到这个类数据共享机制，不过从这个草案也可以略知一二：

  • Class-Data Sharing 允许将Java类放置在共享的存档空间中
  • 通过在不同的Java进程之间共享公共类元数据来减少内存占用

这也就可以解释上文提到的_shared_table的用处：用于在不同的Java进程之间共享字符串池。

StringTable和intern()方法的变化

StringTable在JDK1.7的变化

把String对象加入StringTable的逻辑是：

  • 从 StringTable 中找给定的字符串对象，找到的话就直接返回其引用
  • 找不到就把当前字符串对象添加到 StringTable 中，然后返回引用

接下来以下面的代码执行过程为例说明StringTable在JDK6和JDK7中的区别：

String s1 = "abc";String s2 = new String("abc");

在JDK6及以前，StringTable在PermGen中，字符串常量池中保存的也是PermGen中的对象引用，如下图所示：

image-20210205234423774

执行过程如下：

  • 执行第一行代码时，发现"abc"不存在StringTable中，会在PermGen新建一个String对象，并返回其引用
  • 执行第二行代码时，发现"abc"已经存在于StringTable中，会在Heap中新建一个String对象，并且这个对象会共享之前s1的value数组

在JDK7中，StringTable被移动到Heap中。在执行第一行代码时，创建"abc"字符串也是在Heap中进行。看起来区别并不大，仅仅是从PermGen移动到了Heap中，但这一改动会影响intern()方法的执行逻辑，后面会具体解释。

image-20210205235109679

intern()方法在JDK1.7的变化

String Table在JDK1.6中位于Perm Gen，但是在JDK1.7中被转移到了Java Heap中，这次转移伴随着String.intern()方法的性质发生了一些微小的改变。

  • 在1.6中，intern的处理是先判断字符串常量是否在字符串常量池中，如果存在直接返回该对象的引用。如果没有找到，则将该字符串常量加入到字符串常量区，也就是在永久代中创建该字符串对象，再把引用保存到字符串常量池中。
  • 在1.7中，intern的处理是先判断字符串常量是否在字符串常量池中，如果存在直接返回该对象的引用，如果没有找到，说明该字符串常量在堆中，则处理是把堆区该对象的引用加入到字符串常量池中，以后别人拿到的是该字符串常量的引用，实际存在堆中。

例如下面的代码：

String s1 = new String(new char[]{'a','b','c'}); s1.intern(); String s2 = "abc";System.out.println(s1 == s2);

按照常规的思路，s1.intern()会将s1放进字符串常量池，然后String s2 = "abc"时，会通过StringTable返回s1的引用给s2，所以结果是true。

这在JDK7里面确实是没错的，如下图所示：

image-20210206000048585

但是在JDK6里面，因为字符串对象s1是直接通过传入char数组new出来的，这个String对象是在Heap上的。

而StringTable是在PermGen里面的，无法直接将s1放入StringTable，jvm会在PermGen创建一个新的String对象，再把这个新的String对象放入StringTable中。

所以后面String s2 = "abc"时，会通过StringTable返回新的String对象给s2，因此此时结果为false，如下图所示：

image-20210206000711788

可以通过JDK6和JDK7中intern()的C++源码来验证：

JDK 6 版本的 openjdk 代码：

// try to reuse the string if possible if (!string_or_null.is_null() && (!JavaObjectsInPerm || string_or_null()->is_perm())) { string = string_or_null; } else { string = java_lang_String::create_tenured_from_unicode(name, len, CHECK_NULL); }

JDK 7 版本的 openjdk 代码：

// try to reuse the string if possible if (!string_or_null.is_null()) { string = string_or_null; } else { string = java_lang_String::create_from_unicode(name, len, CHECK_NULL); }

区别在JDK6在把字符串放入StringTable时多了一行判断：

 (!JavaObjectsInPerm || string_or_null()->is_perm())
  • 这个用于判断字符串是否在永久代中，如果是，最终会将这个 string_or_null 放入 StringTable 中
  • 否则，最终会通过java_lang_String::create_tenured_from_unicode在永久代中再次创建一个 String 对象，然后放入 StringTable 中。

结语

在HotSpot VM的源码中主要得到了下面的信息：

  • 字符串常量池可以简单理解为就是一个hashmap的结构，记录的是字符串序列和String对象引用的映射关系
  • 为了在不同的Java进程之间共享字符串池，StringTable还有另外一个名为_shared_table的Map
  • JDK6中，会在永久代创建String对象再放入StringTable，而在JDK7中则直接将堆中的String对象放入StringTable中

OpenJDK中包含HotSpot VM的源码，是完全开源的。感兴趣的可以自行下载阅读：OpenJDK源代码

如果嫌Github下载太慢也可以去Gitee找国内的镜像。

参考资料

  • 从字符串到常量池，一文看懂String类
  • 深入解析String#intern
  • JEP 310: Application Class-Data Sharing
  • JEP 341: Default CDS Archives
  • Java12新特性 -- 默认生成类数据共享(CDS)归档文件
  • OpenJDK源代码








原文转载：http://www.shaoqun.com/a/675730.html

跨境电商：https://www.ikjzd.com/

福茂：https://www.ikjzd.com/w/1633

虚拟信用卡：https://www.ikjzd.com/w/1055


引言字符串常量池（StringTable）是JVM中一个重要的结构，它有助于避免重复创建相同内容的String对象。那么StringTable是怎么实现的？"把字符串加入到字符串常量池中"这个过程发生了？intern()方法又做了什么？上面的问题在JDK6和JDK7中又有什么不一样的答案？网络上已经有海量的文章讨论过上面这些问题，但是不同的文章会给出截然相反的结论。比如：StringTable中保
马莎：https://www.ikjzd.com/w/2385
auditor：https://www.ikjzd.com/w/2437
002315焦点科技：https://www.ikjzd.com/w/1831
亚马逊测评：最前沿养号系统，如何降低成本提高效率搭建稳定的ip环境？：https://www.ikjzd.com/home/132285
亚马逊黄金日购物意愿降低？电子商务整体搜索量下降84％：https://www.ikjzd.com/home/132109
这样写亚马逊索评邮件，好评滚滚来(附英文模板)：https://www.ikjzd.com/tl/96829
发帖者 时间：

没有评论:

发表评论

订阅： 博文评论 (Atom)