我的应用程序引擎实例正在记录传入的请求,我希望能够运行手动/一次性查询以进行数据分析。
例如,我希望能够确定在给定时间段内向每个端点发出了多少请求。所以 SQL 查询可能看起来像这样:
SELECT path, count(path)
FROM request_log
WHERE time >= :start_time AND time <= :end_time
GROUP BY path
实现这些基于日志数据的查询的最简单且最具成本效益的方法是什么?
注意:每月日志摄取量不到 1TB。
在 GCP 中,这将是一个两步过程:
您应该能够创建日志过滤器:
然后使用这些日志过滤器来创建指标:
这不会像 SQL 查询那样灵活或无缝,但过滤器应该为您提供一种选择您感兴趣的日志的方法,并且指标应该允许您对它们进行计数。
如果您热衷于使用 SQL,则需要将日志数据导出到 Big Query。您可以在需要时手动执行此操作,也可以设置接收器以自动将符合条件的新日志发送到 Big Query。导出数据后,您将使用 Big Query 服务在日志上运行 SQL。
以下是将日志数据导出到 Big Query 的链接: