EMQ X ACl鉴权之MySQL

博主： Lyafei
发布时间：2019 年 04 月 01 日
4706次浏览
暂无评论
6443字数
分类： MQTT

EMQ X 权限控制ACL鉴权

EMQ 已经搭建起来了，但是投入到业务使用中还面临着一些问题，当然 MQTT 设计之初也考虑了这一点，比如不是任何...

上一篇简单的介绍了 EMQ X ACl 鉴权，这一篇就具体的介绍下我在项目实现中用到的 ACL 鉴权方式。

发布订阅 ACL

先说实际场景，我们需要监听每一台设备的链接和断开事件等 EMQ 的系统行为，这样的事件当然不是任何一个连接到服务器的终端都可以监听的，官方也提供了默认的鉴权，在 /usr/local/emqttd/etc/acl.conf 下，默认允许 127.0.0.1 的 IP 地址链接监听系统级别主题。

//允许'dashboard'用户订阅 '$SYS/#'
{allow, {user, "dashboard"}, subscribe, ["$SYS/#"]}.
//允许本机用户发布订阅全部主题
{allow, {ipaddr, "127.0.0.1"}, pubsub, ["$SYS/#", "#"]}.
//拒绝用户订阅'$SYS#'与'#'主题
{deny, all, subscribe, ["$SYS/#", {eq, "#"}]}.
//允许所有用户
{allow, all}.

规则参考上篇文章的ACL 鉴权链。

这个时候如果在外网链接 EMQ 订阅如下主题，客户端链接的时候是无法获取消息的。

$SYS/brokers/+/clients/+/connected
$SYS/brokers/+/clients/+/disconnected

但是只需要修改 acl 配置文件如下然后重启节点：(所有节点都需要修改)

> vim /usr/local/emqttd/etc/acl.conf
## 修改
# {allow, {ipaddr, "127.0.0.1"}, pubsub, ["$SYS/#", "#"]}.
{allow, {ipaddr, 你的外网IP}, pubsub, ["$SYS/#", "#"]}.

重新监听，客户端链接的时候就可以获得如下信息：

{"clientid":"xxxxx","username":"xxxxx","ipaddress":"103.238.132.249",

"clean_sess":true,"protocol":4,"connack":60,"ts":1521689797}

前提是你的 emq 连接的有设备，如果你的 emq 上还没有设备连接，获取的就是空。

MySQL ACL

一般来说我们不会使用外网IP 来进行限制，会选择用户来进行限制行为，所以这里我选择了 MySQL ACl鉴权，也是一种比较经常用到的鉴权方式，首先先关闭匿名认证(默认是开启的谁都能够登录)

vim /usr/local/emqttd/etc/emq.conf 

## Allow Anonymous authentication
mqtt.allow_anonymous = false

MySQL ACL 使用外部 MySQL 数据库存储 ACL 规则，可以存储大量数据、动态管理 ACL，方便与外部设备管理系统集成

启用emqx_auth_mysql

> emqttd stop
ok
> emqttd start
emqttd 4.0.5 is started successfully!
## 打开mysql鉴权
> emqttd_ctl plugins load emq_auth_mysql
Start apps: [emq_auth_mysql]
Plugin emq_auth_mysql loaded successfully.

emqx_auth_mysql 插件同时包含认证功能，可通过注释禁用。

MySQL 连接信息

MySQL 基础连接信息，需要保证集群内所有节点均能访问。

# etc/plugins/emqx_auth_mysql.conf

## 服务器地址
auth.mysql.server = 127.0.0.1:3306

## 连接池大小
auth.mysql.pool = 8

auth.mysql.username = emqx

auth.mysql.password = public

auth.mysql.database = mqtt

auth.mysql.query_timeout = 5s

默认表结构

MySQL 认证插件默认配置下需要确保数据库中有以下两张数据表，用于存储认证规则信息：

认证/超级用户表

CREATE TABLE `mqtt_user` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(100) DEFAULT NULL,
  `password` varchar(100) DEFAULT NULL,
  `salt` varchar(35) DEFAULT NULL,
  `is_superuser` (1) DEFAULT 0,
  `created` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `mqtt_username` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET = utf8mb4;

示例数据：

-- 客户端信息
INSERT INTO `mqtt_user` ( `username`, `password`, `salt`, `is_superuser`)
VALUES
('emqx', 'efa1f375d76194fa51a3556a97e641e61685f914d446979da50a551a4333ffd7', NULL, 0);

ACL 规则表

CREATE TABLE `mqtt_acl` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `allow` int(1) DEFAULT 1 COMMENT '0: deny, 1: allow',
  `ipaddr` varchar(60) DEFAULT NULL COMMENT 'IpAddress',
  `username` varchar(100) DEFAULT NULL COMMENT 'Username',
  `clientid` varchar(100) DEFAULT NULL COMMENT 'ClientId',
  `access` int(2) NOT NULL COMMENT '1: subscribe, 2: publish, 3: pubsub',
  `topic` varchar(100) NOT NULL DEFAULT '' COMMENT 'Topic Filter',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET = utf8mb4;

规则表字段说明：

allow：禁止（0），允许（1）
ipaddr：设置 IP 地址
username：连接客户端的用户名，此处的值如果设置为 $all 表示该规则适用于所有的用户
clientid：连接客户端的 Client ID
access：允许的操作：订阅（1），发布（2），订阅发布都可以（3）
topic：控制的主题，可以使用通配符，并且可以在主题中加入占位符来匹配客户端信息，例如 t/%c 则在匹配时主题将会替换为当前客户端的 Client ID
- %u：用户名
- %c：Client ID

默认配置下示例数据：

-- 所有用户不可以订阅系统主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (0, NULL, '$all', NULL, 1, '$SYS/#');

-- 允许 xx.xx.x.xxx 上的客户端订阅系统主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (1, 'xx.xx.x.xxx', NULL, NULL, 1, '$SYS/#');

-- 禁止客户端订阅 /smarthome/+/temperature 主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (0, NULL, NULL, NULL, 1, '/smarthome/+/temperature');

-- 允许客户端订阅包含自身 Client ID 的 /smarthome/${clientid}/temperature 主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (1, NULL, NULL, NULL, 1, '/smarthome/%c/temperature');

启用 MySQL ACL 后并以用户名 emqx 成功连接后，客户端应当数据具有相应的主题权限。

这是默认配置使用的表结构，熟悉该插件的使用后你可以使用任何满足条件的数据表进行 ACL 规则存储。

超级用户 SQL（super_query）

进行 ACL 鉴权时，EMQ X Broker 将使用当前客户端信息填充并执行用户配置的超级用户 SQL，查询客户端是否为超级用户。客户端为超级用户时将跳过 ACL SQL。

# etc/plugins/emqx_auth_mysql.conf

auth.mysql.super_query = select is_superuser from mqtt_user where username = '%u' limit 1

你可以在 SQL 中使用以下占位符，执行时 EMQ X Broker 将自动填充为客户端信息：

%u：用户名
%c：Client ID
%C：TLS 证书公用名（证书的域名或子域名），仅当 TLS 连接时有效
%d：TLS 证书 subject，仅当 TLS 连接时有效

你可以根据业务需要调整超级用户 SQL，如添加多个查询条件、使用数据库预处理函数，以实现更多业务相关的功能。但是任何情况下超级用户 SQL 需要满足以下条件：

查询结果中必须包含 is_superuser 字段，is_superuser 应该显式的为 true
查询结果只能有一条，多条结果时只取第一条作为有效数据

如果不需要超级用户功能，注释并禁用该选项能有效提高效率

ACL SQL（acl_query）

进行 ACL 鉴权时，EMQ X Broker 将使用当前客户端信息填充并执行用户配置的超级用户 SQL，如果没有启用超级用户 SQL 或客户端不是超级用户，则使用 ACL SQL 查询出该客户端在数据库中的 ACL 规则。

# etc/plugins/emqx_auth_mysql.conf

auth.mysql.acl_query = select allow, ipaddr, username, clientid, access, topic from mqtt_acl where ipaddr = '%a' or username = '%u' or username = '$all' or clientid = '%c'

你可以在 ACL SQL 中使用以下占位符，执行时 EMQ X Broker 将自动填充为客户端信息：

%u：用户名
%c：Client ID
%C：TLS 证书公用名（证书的域名或子域名），仅当 TLS 连接时有效
%d：TLS 证书 subject，仅当 TLS 连接时有效

你可以根据业务需要调整 ACL SQL，如添加多个查询条件、使用数据库预处理函数，以实现更多业务相关的功能。但是任何情况下 ACL SQL 需要满足以下条件：

查询结果中必须包含 allow、access、topic、clientid、username、ipaddr 字段，如果字段不想参与比对则使用 $all 字符串或者数据库 NULL 值
查询结果可以有多条，多条结果时按照从上到下的顺序进行匹配

可以在 SQL 中调整查询条件、指定排序方式实现更高效率的查询。

特殊说明

MySQL 8.0 及以后版本使用了 caching_sha2_password 作为默认身份验证插件，受限于客户端驱动你必须将其更改为 mysql_native_password 插件：

ALTER USER 'your_username'@'your_host' IDENTIFIED WITH mysql_native_password BY 'your_password';

这个时候在链接的时候配置用户名和密码就可以顺利链接上了，并且 ACL 的配置可以动态的变更，在不同的业务需求场景下这样的功能可以让程序做到更加安全又利于编程。

最后修改：2020 年 06 月 09 日 12 : 49 PM

如果觉得我的文章对你有用，请随意赞赏

发表评论取消回复

评论 *

私密评论

名称 *

邮箱 *

地址

Wendy
你好，我配置file-log,日志中一直有[kong] han...
leo
说反了吧是不支持私钥加密公钥解密吧
0000
是typecho做的吗，小白，想知道这样可以评论的这种交互是需...
康纳
你好，请问一下，博客原码地址在哪里啊，我想学习一下。大四毕业生
geimini
最近也准备用kong , 很想问下 serveless 的pr...

EMQ X ACl鉴权之MySQL

Lyafei • 2019 年 04 月 01 日

EMQ X 权限控制ACL鉴权

EMQ 已经搭建起来了，但是投入到业务使用中还面临着一些问题，当然 MQTT 设计之初也考虑了这一点，比如不是任何...

上一篇简单的介绍了 EMQ X ACl 鉴权，这一篇就具体的介绍下我在项目实现中用到的 ACL 鉴权方式。

发布订阅 ACL

//允许'dashboard'用户订阅 '$SYS/#'
{allow, {user, "dashboard"}, subscribe, ["$SYS/#"]}.
//允许本机用户发布订阅全部主题
{allow, {ipaddr, "127.0.0.1"}, pubsub, ["$SYS/#", "#"]}.
//拒绝用户订阅'$SYS#'与'#'主题
{deny, all, subscribe, ["$SYS/#", {eq, "#"}]}.
//允许所有用户
{allow, all}.

规则参考上篇文章的ACL 鉴权链。

这个时候如果在外网链接 EMQ 订阅如下主题，客户端链接的时候是无法获取消息的。

$SYS/brokers/+/clients/+/connected
$SYS/brokers/+/clients/+/disconnected

但是只需要修改 acl 配置文件如下然后重启节点：(所有节点都需要修改)

> vim /usr/local/emqttd/etc/acl.conf
## 修改
# {allow, {ipaddr, "127.0.0.1"}, pubsub, ["$SYS/#", "#"]}.
{allow, {ipaddr, 你的外网IP}, pubsub, ["$SYS/#", "#"]}.

重新监听，客户端链接的时候就可以获得如下信息：

{"clientid":"xxxxx","username":"xxxxx","ipaddress":"103.238.132.249",

"clean_sess":true,"protocol":4,"connack":60,"ts":1521689797}

前提是你的 emq 连接的有设备，如果你的 emq 上还没有设备连接，获取的就是空。

MySQL ACL

vim /usr/local/emqttd/etc/emq.conf 

## Allow Anonymous authentication
mqtt.allow_anonymous = false

MySQL ACL 使用外部 MySQL 数据库存储 ACL 规则，可以存储大量数据、动态管理 ACL，方便与外部设备管理系统集成

启用emqx_auth_mysql

> emqttd stop
ok
> emqttd start
emqttd 4.0.5 is started successfully!
## 打开mysql鉴权
> emqttd_ctl plugins load emq_auth_mysql
Start apps: [emq_auth_mysql]
Plugin emq_auth_mysql loaded successfully.

emqx_auth_mysql 插件同时包含认证功能，可通过注释禁用。

MySQL 连接信息

MySQL 基础连接信息，需要保证集群内所有节点均能访问。

# etc/plugins/emqx_auth_mysql.conf

## 服务器地址
auth.mysql.server = 127.0.0.1:3306

## 连接池大小
auth.mysql.pool = 8

auth.mysql.username = emqx

auth.mysql.password = public

auth.mysql.database = mqtt

auth.mysql.query_timeout = 5s

默认表结构

MySQL 认证插件默认配置下需要确保数据库中有以下两张数据表，用于存储认证规则信息：

认证/超级用户表

CREATE TABLE `mqtt_user` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(100) DEFAULT NULL,
  `password` varchar(100) DEFAULT NULL,
  `salt` varchar(35) DEFAULT NULL,
  `is_superuser` (1) DEFAULT 0,
  `created` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `mqtt_username` (`username`)
) ENGINE=InnoDB DEFAULT CHARSET = utf8mb4;

示例数据：

-- 客户端信息
INSERT INTO `mqtt_user` ( `username`, `password`, `salt`, `is_superuser`)
VALUES
('emqx', 'efa1f375d76194fa51a3556a97e641e61685f914d446979da50a551a4333ffd7', NULL, 0);

ACL 规则表

CREATE TABLE `mqtt_acl` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `allow` int(1) DEFAULT 1 COMMENT '0: deny, 1: allow',
  `ipaddr` varchar(60) DEFAULT NULL COMMENT 'IpAddress',
  `username` varchar(100) DEFAULT NULL COMMENT 'Username',
  `clientid` varchar(100) DEFAULT NULL COMMENT 'ClientId',
  `access` int(2) NOT NULL COMMENT '1: subscribe, 2: publish, 3: pubsub',
  `topic` varchar(100) NOT NULL DEFAULT '' COMMENT 'Topic Filter',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET = utf8mb4;

规则表字段说明：

allow：禁止（0），允许（1）
ipaddr：设置 IP 地址
username：连接客户端的用户名，此处的值如果设置为 $all 表示该规则适用于所有的用户
clientid：连接客户端的 Client ID
access：允许的操作：订阅（1），发布（2），订阅发布都可以（3）
topic：控制的主题，可以使用通配符，并且可以在主题中加入占位符来匹配客户端信息，例如 t/%c 则在匹配时主题将会替换为当前客户端的 Client ID
- %u：用户名
- %c：Client ID

默认配置下示例数据：

-- 所有用户不可以订阅系统主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (0, NULL, '$all', NULL, 1, '$SYS/#');

-- 允许 xx.xx.x.xxx 上的客户端订阅系统主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (1, 'xx.xx.x.xxx', NULL, NULL, 1, '$SYS/#');

-- 禁止客户端订阅 /smarthome/+/temperature 主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (0, NULL, NULL, NULL, 1, '/smarthome/+/temperature');

-- 允许客户端订阅包含自身 Client ID 的 /smarthome/${clientid}/temperature 主题
INSERT INTO mqtt_acl (allow, ipaddr, username, clientid, access, topic) VALUES (1, NULL, NULL, NULL, 1, '/smarthome/%c/temperature');

启用 MySQL ACL 后并以用户名 emqx 成功连接后，客户端应当数据具有相应的主题权限。

这是默认配置使用的表结构，熟悉该插件的使用后你可以使用任何满足条件的数据表进行 ACL 规则存储。

超级用户 SQL（super_query）

# etc/plugins/emqx_auth_mysql.conf

auth.mysql.super_query = select is_superuser from mqtt_user where username = '%u' limit 1

你可以在 SQL 中使用以下占位符，执行时 EMQ X Broker 将自动填充为客户端信息：

%u：用户名
%c：Client ID
%C：TLS 证书公用名（证书的域名或子域名），仅当 TLS 连接时有效
%d：TLS 证书 subject，仅当 TLS 连接时有效

查询结果中必须包含 is_superuser 字段，is_superuser 应该显式的为 true
查询结果只能有一条，多条结果时只取第一条作为有效数据

如果不需要超级用户功能，注释并禁用该选项能有效提高效率

ACL SQL（acl_query）

# etc/plugins/emqx_auth_mysql.conf

auth.mysql.acl_query = select allow, ipaddr, username, clientid, access, topic from mqtt_acl where ipaddr = '%a' or username = '%u' or username = '$all' or clientid = '%c'

你可以在 ACL SQL 中使用以下占位符，执行时 EMQ X Broker 将自动填充为客户端信息：

%u：用户名
%c：Client ID
%C：TLS 证书公用名（证书的域名或子域名），仅当 TLS 连接时有效
%d：TLS 证书 subject，仅当 TLS 连接时有效

查询结果中必须包含 allow、access、topic、clientid、username、ipaddr 字段，如果字段不想参与比对则使用 $all 字符串或者数据库 NULL 值
查询结果可以有多条，多条结果时按照从上到下的顺序进行匹配

可以在 SQL 中调整查询条件、指定排序方式实现更高效率的查询。

特殊说明

MySQL 8.0 及以后版本使用了 caching_sha2_password 作为默认身份验证插件，受限于客户端驱动你必须将其更改为 mysql_native_password 插件：

ALTER USER 'your_username'@'your_host' IDENTIFIED WITH mysql_native_password BY 'your_password';

EMQ X ACl鉴权之MySQL

发布订阅 ACL

MySQL ACL

启用emqx_auth_mysql

MySQL 连接信息

默认表结构

认证/超级用户表

ACL 规则表

超级用户 SQL（super_query）

ACL SQL（acl_query）

特殊说明

发表评论取消回复

Kong的Url重写(rewrite)自定义插件

我的碎片思考

Kong的日志记录（log）自定义插件

Kong插件开发工具包

单点登录那些事儿（三）不同域下单点登录

Piwik在代理后端获取真实IP

Tideways支持PHP版本>=7.0，并Docker容器化

Golang完整配置解决方案Viper

CentOS7 yum安装软件时检索密钥问题

Docker Compose安装及常用命令

EMQ X ACl鉴权之MySQL

发布订阅 ACL

MySQL ACL

启用emqx_auth_mysql

MySQL 连接信息

默认表结构

认证/超级用户表

ACL 规则表

超级用户 SQL（super_query）

ACL SQL（acl_query）

特殊说明

发布订阅 ACL

MySQL ACL

启用emqx_auth_mysql

MySQL 连接信息

默认表结构

认证/超级用户表

ACL 规则表

超级用户 SQL（super_query）

ACL SQL（acl_query）

特殊说明

发表评论 取消回复

EMQ X ACl鉴权之MySQL

发布订阅 ACL

MySQL ACL

启用emqx_auth_mysql

MySQL 连接信息

默认表结构

认证/超级用户表

ACL 规则表

超级用户 SQL（super_query）

ACL SQL（acl_query）

特殊说明

发表评论取消回复