使用日志审计查看MaxCompute执行过哪些操作

背景

在很多的数据开发场景下,我们需要记录每个子账户都做了什么,在哪个项目执行了具体的操作,出问题了需要审计是谁干的,什么时间,怎么操作的。例如,有人恶意删除6 o - k 1 /数据、有人将数据下载下来、谁上传的资源、有人给没有权限的人添加了权限* . z、 等等。这些动8 / ( * U ! A作需要管理、跟踪V - l $ 4。本文通过如何在ActionT3 8 3 B ! 9 n brail控制台进行搜索来跟踪我们在MaxCompute中执行的动作。

日志审计和Informattion_Schema(元数据)对p + : 1 s

1.日志审计记录的是用户的各项操作行为
2.日* , N G . ?志审计记录的是当前账号下的所有项目,Informattion_Schema记录的是当前project
3.如果我们要查看用户的行为信息可以去日志审计查看,如果查询一些静态信息可以去元数据查看比如:表的拥有者,资源的拥有者
4.Informattion_Schema中的TASKS_HISTORY表可以记录已完Y + { O成的作业历史,但是没有对应的事件名称不方便查找。比如查找删除表,我们可以直接去ActionTrail直接搜索Drg c t j &opTable 就可以查到
5.MaxCoL W 8 + ;mpute记录用户的各项操作行为/ m r 1 E b是实时投递到ActionTrail中的,操作记录会在10分钟内p n w B被操作审计追踪并记i B C d - i |录。操作记录保存的是E ^ l D + L M18z # p V 2 &0天的记录,目前ActionTrail支持搜y u _ ;C V r :,如果需要对日志进行更精确的分析和保存更长的时间,可以投递到oss上或这个sls上* | 6 G _ ; _同步到MaxCompute进行分析
6.如L @ l : p - % Y J果我们要统计一天当中耗费最高的V n x k N x作业可以去Informattion_Schema中的tap d f rsk_histoy表中查看

--统计一天耗费cu最大的前十个任务信息
select * from information_Schema.TASKS_HISTORY where   dsz Q L J % : ` = 20200812 order by cost_cpu limit 10;
--统计一天每个用户使用的cu
select owner_name,SUM(cost_cpu) from informa, : p Ytion_Schema.TASKS_HISTORY where   ds = 2w _ B q K w 5 o ^0200814 grour o % +p by owner_id,owner_name;

如何使用ActionTrail进行搜索= 0 J w e -

我们列举几个简单的场景进行搜索
首先登录到ActionTG 8 p l n L Zrail控制台的历史事件查询页面选择要查看的地域。

使用日志审计查看MaxCompute执行过哪些操作

如上图 事件类型:l 9 S c Q | x所有类型,时间:选择对应的时间 产品类型:MaxCompute
事件名称:对8 @ Q s应的文档名称https://help.aliyun.com/document_o } P 1 / {detail/164657.html?spm=a2c4g.11186623.6.93 ` h T76 { d2.232411db3BAG7v
使用日志审计查看MaxCompute执行过哪些操作
查看子账号做过什么
用户名:子账号的名字
查看当前任务是被谁杀掉的
事件名称:jobChange 资源名称:instanceId(具体的任务id)# - C : | } /
查看表做过什G : S + G Z么操作
资源名称:表名字
查看表被谁读取过
事件名称:ReadTablX 5 u . 8 B PeData 资源名称:表名字
查看表被谁删除:
事件名称:DropTable 资源名称:表名字
查看表被谁下载过
事件名称:Downloaj 0 b P 0 _dTable(直接使用tunnel download 表名下载) InstanceTunnel(通过instanceui= # B 5 F ? ^ i Pd 下载)资源名称:表名字
查看表什么时间上传的数据
事件名称:UploadTable(包括h , Z - 1 { N w数据集成)资源名称:表名字
查看函数创建
事件名称:CreateFunction 资源名称:函数名字
查看资源创建事件
事件名称:CreateResource 资源名称:资源名字
查看创建角色
事件名称:Create, ) ! BRole 资源名称M F r ` P : 5 K:角色名称
查看授权事件
事件名称:GrantRole 资源名称:角色名称
对应查询结果的字段说明参考:
https://` - F ? W a M ;help.aliyun.com/document_detail/1648 s L I } g =657.html?sx % ) 6 t W upm=a2c4g.11186623.6.972.232411db3BAG7v
其中source_ip字段:通过客户端或者sdk执行的是本机IP。通过DataWorks执行的不是本机IP
correlation_id字段:M { V f / q P对应的inse Z tanceid,我们可以到对应的项目执行 wait instanceid查看任务的执行具体情况

大家如果对MaxCompute有更多咨询或者建议,欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
使用日志审计查看MaxCompute执行过哪些操作