MySQL学习专题

26、MySQL GROUP BY 分组查询数据

在 ONLY_FULL_GROUP_BY 下验证分组和 HAVING,并记录非分组列查询被拒绝的反例。

简明结论

分组查询的非聚合列必须符合分组或函数依赖规则;不要靠关闭 ONLY_FULL_GROUP_BY 随机取值。

GROUP BY 将行划分为组,聚合函数对每组计算。WHERE 在分组前筛选原始行,HAVING 在分组后筛选组。展示顺序要用 ORDER BY,不能把一次执行结果看作隐含排序保证。

本例显式开启 ONLY_FULL_GROUP_BY,按部门统计行数与金额,再用 HAVING 保留总额大于 10 的组。部门不是唯一行,某一笔 amount 不能代表整组。

可复现实验

适用 MySQL 8.4 / InnoDB。先在可丢弃的测试实例中创建 phase5_knowledge 数据库,再通过 MySQL 客户端一次执行以下完整 SQL;本轮测试容器独立创建,没有连接现有数据库。

USE phase5_knowledge;
SET SESSION sql_mode='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';
CREATE TEMPORARY TABLE sales (id INT PRIMARY KEY, dept VARCHAR(10), amount INT);
INSERT INTO sales VALUES (1,'A',10),(2,'A',20),(3,'B',5);
SELECT dept,COUNT(*),SUM(amount) FROM sales GROUP BY dept ORDER BY dept;
SELECT dept,SUM(amount) FROM sales GROUP BY dept HAVING SUM(amount)>10 ORDER BY dept;

使用 mysql --batch --raw --skip-column-names 执行时,本次输出如下(列间为制表符):

A	2	30
B	1	5
A	30

条件与常见误区

另一个故意失败的反例见下方。不要通过关闭 ONLY_FULL_GROUP_BY 来“修复”业务上不明确的取值。如果列受分组列函数依赖,规则可能允许它,本反例不属于该情况。ROLLUP 的汇总 NULL 与数据中的实际 NULL 也需区分,可使用 GROUPING;原资料中只用 COALESCE 标记汇总的方式并不能覆盖全部情况。

下列查询故意选择非聚合 amount,本次返回 1055 错误,而不是通过后悄悄选一笔金额:

USE phase5_knowledge;
SET SESSION sql_mode='ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';
CREATE TEMPORARY TABLE sales (id INT PRIMARY KEY, dept VARCHAR(10), amount INT);
INSERT INTO sales VALUES (1,'A',10),(2,'A',20);
SELECT dept,amount FROM sales GROUP BY dept;

下一步阅读

历史范例(未重建原环境)

以下保留旧资料的示例与输出,并校正语言标记和已发现的概念错误。含 MariaDB、旧 PHP/PDO、旧 Redis 或旧 JDK 语境的片段,本轮没有逐一运行;新实验的验证结论只适用于上方完整源码。不要把历史截图中的结果当作本轮输出。

GROUP BY 语句根据一个或多个列对结果集进行分组

在分组的列上可以使用 COUNT(), SUM(), AVG() 等函数

GROUP BY 语法格式

SQLSELECT 中语句使用 GROUP BY 子句对查询数据进行分组的语法格式如下

SELECT column_name, function(column_name)
FROM table_name
WHERE column_name operator value
GROUP BY column_name;

范例数据

可以在mysql> 命令行中运行以下语句填充范例数据

DROP TABLE IF EXISTS tbl_language;
DROP TABLE IF EXISTS tbl_rank;
CREATE TABLE IF NOT EXISTS tbl_language(
   id INT UNSIGNED AUTO_INCREMENT,
   name VARCHAR(64) NOT NULL,
   url VARCHAR(128) NOT NULL,
   founded_at DATE,
   PRIMARY KEY ( id )
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
CREATE TABLE IF NOT EXISTS tbl_rank(
   id INT UNSIGNED AUTO_INCREMENT,
   name VARCHAR(64) NOT NULL,
   month VARCHAR(7) NOT NULL,
   rank TINYINT NOT NULL,
   rate VARCHAR(32) NOT NULL,
   PRIMARY KEY ( id )
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
INSERT INTO tbl_language VALUES
    (1,'Python','https://ddkk.com','1991-2-20'),
    (2,'PHP','http://www.php.net','1994-1-1'),
    (3,'Ruby','https://www.ruby-lang.org/','1996-12-25');
INSERT INTO tbl_rank VALUES
    (1, 'Python','2018-04',4,'5.083%'),
    (2, 'PHP','2018-04',6,'4.218%'),
    (3, 'Ruby','2018-04',11,'2.018%'),
    (4, 'Java','2018-04',1,'15.777%'),
    (5, 'Python','2018-03',4,'5.869%'),
    (6, 'PHP','2018-03',7,'4.010%'),
    (7, 'Ruby','2018-03',12,'2.744%'),
    (8, 'Java','2018-03',1,'14.941'),
    (9, 'Python','2018-02',4,'5.168%'),
    (10, 'PHP','2018-02',7,'3.420%'),
    (11, 'Ruby','2018-02',10,'2.534%'),
    (12, 'Java','2018-02',1,'14.988%');

tbl_language 表中的数据如下

+----+--------+----------------------------+------------+
| id | name   | url                        | founded_at |
+----+--------+----------------------------+------------+
|  1 | Python | https://ddkk.com        | 1991-02-20 |
|  2 | PHP    | http://www.php.net         | 1994-01-01 |
|  3 | Ruby   | https://www.ruby-lang.org/ | 1996-12-25 |
+----+--------+----------------------------+------------+

tbl_rank 表中的数据如下

+----+--------+---------+------+---------+
| id | name   | month   | rank | rate    |
+----+--------+---------+------+---------+
|  1 | Python | 2018-04 |    4 | 5.083%  |
|  2 | PHP    | 2018-04 |    6 | 4.218%  |
|  3 | Ruby   | 2018-04 |   11 | 2.018%  |
|  4 | Java   | 2018-04 |    1 | 15.777% |
|  5 | Python | 2018-03 |    4 | 5.869%  |
|  6 | PHP    | 2018-03 |    7 | 4.010%  |
|  7 | Ruby   | 2018-03 |   12 | 2.744%  |
|  8 | Java   | 2018-03 |    1 | 14.941  |
|  9 | Python | 2018-02 |    4 | 5.168%  |
| 10 | PHP    | 2018-02 |    7 | 3.420%  |
| 11 | Ruby   | 2018-02 |   10 | 2.534%  |
| 12 | Java   | 2018-02 |    1 | 14.988% |
+----+--------+---------+------+---------+

使用 GROUP BY 语句对 tbl_rank 中的 name 进行分组

可以使用下面的 GROUP BY 语句将数据表按 name 进行分组,并统计每个 name 有多少条记录

SELECT name, COUNT(*) FROM tbl_rank GROUP BY name;

运行结果如下

MariaDB [souyunku]> SELECT name, COUNT(*) FROM   tbl_rank GROUP BY name;
+--------+----------+
| name   | COUNT(*) |
+--------+----------+
| Java   |        3 |
| PHP    |        3 |
| Python |        3 |
| Ruby   |        3 |
+--------+----------+
4 rows in set (0.01 sec)

可以使用下面的 GROUP BY 语句将数据表按 name 进行分组,并统计每个 name 的平均排名

SELECT name, AVG(rank) FROM tbl_rank GROUP BY name;

运行结果如下

MariaDB [souyunku]> SELECT name, AVG(rank) FROM tbl_rank GROUP BY name;
+--------+-----------+
| name   | AVG(rank) |
+--------+-----------+
| Java   | 1.0000    |
| PHP    | 6.6667    |
| Python | 4.0000    |
| Ruby   | 11.0000   |
+--------+-----------+
4 rows in set (0.01 sec)

使用 WITH ROLLUP

WITH ROLLUP 可以实现在分组统计数据基础上再进行相同的统计 ( SUM,AVG,COUNT ...)

例如下面的语句将表 tbl_rank 按 name 进行分组,并统计每个 name 的平均排名,然后统计所有语言的平均排名

SELECT name, AVG(rank) FROM tbl_rank GROUP BY name WITH ROLLUP;

运行结果如下

MariaDB [souyunku]> SELECT name, AVG(rank) FROM tbl_rank GROUP BY name WITH ROLLUP; 
+--------+-----------+
| name   | AVG(rank) |
+--------+-----------+
| Java   | 1.0000    |
| PHP    | 6.6667    |
| Python | 4.0000    |
| Ruby   | 11.0000   |
| NULL   | 5.6667    |
+--------+-----------+
5 rows in set (0.00 sec)

其中记录 NULL 表示所有语言的平均排名

coalesce()

可以使用 coalesce() 来设置一个可以取代 NUll 的名称

coalesce() 语法格式如下

select coalesce(a,b,c);

参数说明

1、 如果a==null则选择b;
2、 如果b==null则选择c;
3、 如果a!=null则选择a;
4、 如果abc都为null,则返回为null(没意义);

下面的SQL 语句使用 total 来代替 null

SELECT coalesce(name,'count'), AVG(rank) FROM tbl_rank GROUP BY name WITH ROLLUP;

运行结果如下

MariaDB [souyunku]> SELECT coalesce(name,'count'), AVG(rank) FROM tbl_rank GROUP BY name WITH ROLLUP;
+------------------------+-----------+
| coalesce(name,'count') | AVG(rank) |
+------------------------+-----------+
| Java                   | 1.0000    |
| PHP                    | 6.6667    |
| Python                 | 4.0000    |
| Ruby                   | 11.0000   |
| count                  | 5.6667    |
+------------------------+-----------+
5 rows in set (0.00 sec)