迹忆客 专注技术分享

你在你的数据库中使用 MySQL 的 utf8 字符集吗？ 在这篇文章中，我将解释为什么你应该改用 utf8mb4，以及如何去做。

UTF-8

UTF-8编码可以表示Unicode字符集中的每一个符号，范围从U+000000到U+10FFFF。 那是 1,114,112 个可能的符号。 （并非所有这些 Unicode 代码点都已分配字符，但这并不妨碍 UTF-8 能够对它们进行编码。）

UTF-8 是一种可变宽度编码；可以参考Unicode 字符集和 UTF-8、UTF-16、UTF-32 编码这篇文章 它使用一到四个 8 位字节对每个符号进行编码。 具有较低数字代码点值的符号使用较少的字节进行编码。 这样，UTF-8 针对使用 ASCII 字符和其他 BMP 符号（其代码点范围从 U+000000 到 U+00FFFF）的常见情况进行了优化——同时仍然允许星体符号（其代码点范围从 U+010000 到 U+10FFFF) 被存储。

MySQL 中的 utf8

很长一段时间，我一直在为数据库、表和列使用 MySQL 的 utf8 字符集，假设它映射到上述 UTF-8 编码。 通过使用 utf8，我可以在我的数据库中存储我想要的任何符号——或者我是这么认为的。

在写 JavaScript 的内部字符编码时，我注意到无法将 U+1D306 TETRAGRAM FOR CENTER (𝌆) 符号插入到该站点后面的 MySQL 数据库中。 我尝试更新的列具有 utf8_unicode_ci 排序规则，并且连接字符集设置为 utf8。

mysql> SET NAMES utf8; # just to emphasize that the connection charset is set to `utf8`
Query OK, 0 rows affected (0.00 sec)

mysql> UPDATE database_name.table_name SET column_name = 'foo𝌆bar' WHERE id = 9001;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 1

mysql> SELECT column_name FROM database_name.table_name WHERE id = 9001;
+-------------+
| column_name |
+-------------+
| foo         |
+-------------+
1 row in set (0.00 sec)

内容在第一个 astral Unicode 符号处被截断，在本例中为 𝌆 — 因此，尝试插入 foo𝌆bar 实际上插入的是 foo，导致数据丢失（并可能引入安全问题；见下文）。 MySQL 也返回一条警告消息：

mysql> SHOW WARNINGS;
+---------+------+------------------------------------------------------------------------------+
| Level   | Code | Message                                                                      |
+---------+------+------------------------------------------------------------------------------+
| Warning | 1366 | Incorrect string value: '\xF0\x9D\x8C\x86' for column 'column_name' at row 1 |
+---------+------+------------------------------------------------------------------------------+
1 row in set (0.00 sec)

事实证明，MySQL 的 utf8 字符集仅部分实现了正确的 UTF-8 编码。 它只能存储由一到三个字节组成的 UTF-8 编码符号； 不支持占用四个字节的编码符号。

由于星体符号（其代码点范围从 U+010000 到 U+10FFFF）在 UTF-8 中均由四个字节组成，因此我们不能使用 MySQL 的 utf8 实现来存储它们。

这不仅会影响 𝌆 字符，还会影响更重要的符号，例如 U+01F4A9 PILE OF POO (💩)。 总共有 1,048,575 个可能的代码点是我们不能使用的。 事实上，MySQL 的 utf8 只允许我们存储所有可能的 Unicode 代码点的 5.88% (0x00FFFF + 1) / (0x10FFFF + 1)。 正确的 UTF-8 可以编码所有 Unicode 代码点的 100% 。

MySQL 的 utf8 编码命名很笨拙，因为它与正确的 UTF-8 编码不同。 它不提供完整的 Unicode 支持，这可能会导致数据丢失或安全漏洞。

MySQL 中的 utf8mb4

幸运的是，MySQL 5.5.3（2010 年初发布）引入了一种名为 utf8mb4 的新编码，它映射到正确的 UTF-8，因此完全支持 Unicode，包括星体符号。

我们可以参考 MySQL 从 utf8 切换到 utf8mb4 这篇文章来对编码进行切换。

总结

永远不要在 MySQL 中使用 utf8——总是使用 utf8mb4。 更新数据库和代码可能需要一些时间，但绝对值得付出努力。 为什么要任意限制可以在数据库中使用的符号集？ 为什么每次用户输入星体符号作为评论或消息的一部分或我们存储在数据库中的任何内容时，都会丢失数据？ 没有理由不在所有地方争取完全的 Unicode 支持。 做正确的事，使用 utf8mb4。 🍻