主页 / server / 问题 / 25769
Accepted
Magnetic_dud
Asked: 2009-06-16 02:46:45 +0800 CST

如何让 Analog 只解析一周的日志？

  • 772

在我的 Windows 服务器上，我使用模拟来解析我的日志文件并分析它们。日志是每天的并命名为 exYYMMDD.log 我如何在模拟 cfg 文件中设置以仅解析一周的日志？

windows-server-2003 logging log-files analytics

3 个回答

  1. Best Answer

    我自己刚开始使用模拟和报告魔术..

    我从文档中的howto中抓住了这个：

    您还可以使用以下代码在 LOGFILE 名称中包含日期。

    %D 月份日期
    %m 月份名称，英文
    %M 月份编号
    %y 两位数年份
    %Y 四位数年份
    %H 小时
    %n 分钟
    %w 星期几，英文

    例如，
    LOGFILE access_log%Y%M.log

    如果是 2001 年 9 月，将查找日志文件 access_log200109.log。如果指定了日期，则使用的日期实际上是 TO 日期，否则是程序启动的时间。例如，您可以使用以下命令查看上个月的所有日志文件

    这应该可以帮助您准确设置要解析的日志文件。此外，还有这个相应的条目，详细说明了“TO”和“FROM”日期：

    还有另外一对属于这一类的命令，即 FROM > 和 TO 命令。这些指定了将分析限制到的时间段。这些命令最简单的用法是 FROM yyMMdd 或 FROM yyMMdd:hhmm，其中 yy 表示年份的最后 > 两位数（类比假设年份在 1970 和 2069 之间），MM 表示月份，dd 是日期，hh小时，毫米分钟。因此，例如，要 > 仅分析从 1999 年 7 月 1 日到 2000 年 6 月 15 日下午 1 点的请求，我将使用配置

    从 990701
    到 000615:1300

    或者，可以在每个组件前面加上 + 或 - 以表示相对于调用程序时间的时间。在这种情况下，日期可以多于 2 位。这允许像这样的结构

    FROM -01-00+01 #从去年的明天
    到 -00-0131 #到上个月末（即使上个月没有 31 天也可以）
    FROM -00-00-112
    TO -00-00- 01 # 过去 16 周的统计数据
    FROM -00-00-00:-06+01 # 过去 6 小时的统计数据

    FROM 和 TO 命令有命令行缩写 +F 和 +T；例如，+T-00-00-01:1800 查看昨天下午 6 点之前的统计数据。-F 和 -T 关闭 from 和 to，FROM OFF 和 TO OFF 也是如此。

    有了这些，你可能会得到你需要的东西。我冒着有根据的猜测，您的答案位于“FROM”和“TO”.cfg 条目中。

    作为另一种选择，您总是可以跳过上面的那些，只需编写一个批处理脚本，该脚本将移动/归档或删除默认“\LogFiles\W3SVC1”位置的前一周日志文件-out_，例如“D:\ IIS-Logfiles-Archive”，然后运行当天的模拟分析器。一些可以帮助您开始并朝着正确方向前进的伪代码是：

    （再一次，这是伪代码。粗糙、难看，像湿羊毛衫一样合身。可能不需要删除目录，但我是从我使用的另一个脚本中抄袭的，嗯？:)

    净停止 all_your_webservices_here
    cd C:\WINDOWS\system32\LogFiles\W3SVC1
    del /f /q 。
    cd c:\
    rd /s /q C:\WINDOWS\system32\LogFiles\W3SVC1
    mkdir C:\WINDOWS\system32\LogFiles\W3SVC1
    net start all_your_webservices_here
    "C:\Program Files\analog 6.0\analog.exe" && rmagic

    抱歉，最后一点是如果你已经安装并运行了 reportmagic。如果你不这样做，我强烈推荐它。使模拟变得漂亮，给管理留下深刻印象。嗯嗯嗯不错 比如汤什么的。:)

    话虽这么说，我猜你想将分析限制在一周内，因为模拟分析你的日志需要很长时间。（这是一个完全随机的猜测，并根据我的看法着色，因为我在最初设置它时有点/有点看到同样的事情:)

    请注意，一旦您解析了一组日志文件（比如几天或一周的时间），可能需要一段时间，但是重新运行模拟以检查任何后续日志文件非常快。总结；为模拟创建一个计划任务，每天运行一次，虽然初始运行需要一些时间，但每次连续运行都会比第一次快得多。

    HTH，伙计...

    • 1

  2. 大哥，我发帖后才想到这个。也许这会有所帮助，因为大多数链接都指向“ Bob是如何进行配置的，Jerry是如何在这里进行配置的，这很好，等等。” 不再有效。

    希望它可以帮助你多一点，这是我的analog.cfg文件：

    “#”下面的WAS制作，变成了测试。
    "#"
    "#" LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1\ex%y%M%D.*
    "#"
    "#" 它有效，但一次只给我们一个日志文件。
    "#"
    "#" 下面是一个测试。
    "#"
    "#" LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1*.log
    "#"
    "#" 上面的工作，因为我们要解析所有的日志文件，
    "#" 顺序。暂时坚持这个。
    "#"

    "#"
    "#" 此行记录生成报告所用的时间。
    “#”

    RUNTIME ON

    "#"
    "#" 此行将日志文件重新设置为本地时间。也花了一些时间来
    “#”弄清楚。
    "#"

    LOGTIMEOFFSET -360
    LOGFILE C:\WINDOWS\system32\LogFiles\W3SVC1*.log

    "#"
    "#" 这一行告诉 "analog" 将其输出转储为 "computer readable"
    "#" 格式，供 reportmagic 使用. 如果我们不使用它，我们会用
    “#”告诉它以 html 格式输出供人类使用，或者以浏览器可读的
    “#”格式输出。
    "#"

    OUTPUT COMPUTER

    "#"
    "#" 这一行专门告诉模拟在哪里转储它的输出。
    "#"

    OUTFILE D:\inetpub\wwwroot\stats\report.dat

    "#"
    "#" 这些行告诉模拟图表的去向。



    CHARTDIR "图表/%Y.%M."

    "#"
    "#" 这些行在 html 中设置了漂亮的文本
    "#"

    HOSTNAME "[My company's intranet]"
    HOSTURL http://mycompany_intranet

    "#"
    "#" 这些行告诉模拟如何解析它的主机名。我们
    “#”需要处理这些问题，因为“dnscache.txt”文件
    “#”会随着它的运行而继续增长，导致我们有
    “#”来进行一些维护。我无法让它
    直接从网络解析“#”，但我确信这是可能的
    。“#”







    "#" 这里有一些我们需要在一开始就设置的预设、预加载模块的选项。
    "#" 它们有点像上面的那些，但您可以将它们视为元标记或元变量。
    "#"

    REQLINKINCLUDE 页面
    REFLINKINCLUDE *
    REDIRREFLINKINCLUDE *
    FAILREFLINKINCLUDE *
    SUBBROW /
    SUBTYPE .gz, .Z

    "#" 添加您在服务器上或其他页面上的任何这些类型的页面。

    PAGEINCLUDE *.shtml
    PAGEINCLUDE *.html
    PAGEINCLUDE *.asp
    PAGEINCLUDE *.jsp
    PAGEINCLUDE *.js
    PAGEINCLUDE *.cfm
    PAGEINCLUDE *.css
    PAGEINCLUDE *.pl
    PAGEINCLUDE *.php
    PAGEINCLUDE *.swf

    TYPEALIAS .html ".html [超文本标记语言]"
    TYPEALIAS .htm ".htm [超文本标记语言]"
    TYPEALIAS .shtml ".shtml [服务器解析的HTML]"
    TYPEALIAS .ps "。 ps [PostScript]"
    TYPEALIAS .gz ".gz [Gzip 压缩文件]"
    TYPEALIAS .tar.gz ".tar.gz [压缩档案]"
    TYPEALIAS .jpg ".jpg [JPEG 图形]"
    TYPEALIAS .jpeg ".jpeg [ JPEG 图形]"
    TYPEALIAS .gif ".gif [GIF 图形]"
    TYPEALIAS .png ".png [PNG 图形]"
    TYPEALIAS .txt ".txt [纯文本]"
    TYPEALIAS .cgi ".cgi [CGI 脚本]"
    TYPEALIAS .pl ".pl [Perl 脚本]"
    TYPEALIAS .css ".css [层叠样式表]"
    TYPEALIAS .class ".class [Java 类文件]"
    TYPEALIAS .pdf ".pdf [Adobe 可移植文档格式]"
    TYPEALIAS .zip ".zip [Zip 档案]"
    TYPEALIAS . hqx ".hqx [Macintosh BinHex 文件]"
    TYPEALIAS .exe ".exe [可执行文件]"
    TYPEALIAS .wav ".wav [WAV 声音文件]"
    TYPEALIAS .avi ".avi [AVI 电影]"
    TYPEALIAS .arc ".arc [压缩档案]"
    TYPEALIAS .mid ".mid [MIDI 声音文件]"
    TYPEALIAS .mp3 ".mp3 [MP3 声音文件]"
    TYPEALIAS .doc ".doc [Microsoft Word 文档]"
    TYPEALIAS .rtf ".rtf [富文本格式]"
    TYPEALIAS .mov ".mov [Quick Time 电影]"
    TYPEALIAS .mpg ".mpg [MPEG 电影]"
    TYPEALIAS .mpeg ".mpeg [MPEG 电影]"
    TYPEALIAS .asp ".asp [Active Server Pages]"
    TYPEALIAS .jsp" .jsp [Java 服务器页面]"
    TYPEALIAS .cfm ".cfm [Cold Fusion]"
    TYPEALIAS .php ".php [PHP]"
    TYPEALIAS .js ".js [JavaScript 代码]"

    "#" x=General
    "#" 1 =每年 Q=每季度 m=每月 W=每周 D=每天 d=DailySum
    "#" H=每小时 h=HourlySum w=HoursOfWeek 4=15minly 6=15minlySum 5=5minly
    "#" 7=5minlySum
    "#" o=Domain Z = 组织卫星。S=主机 s=RefSite f=ReferrerURL
    "#" n=SearchWord N=SearchQuery B=Browser b=BrowserSum p=OS
    "#" i=Dir. r=File t=FileType z=FileSize c=Status
    "#" I=Failure L=FailHost K=FailRef E=Redir l=RedirHost k=RedirRef
    "#" v=VHost R=RedirVHost M=FailVHost u=User j= RedirUser J=FailUser
    "#" y=IntSearchWord Y=IntSearchQuery P=ProcTime

    WEEKBEGINSON MONDAY
    MARKCHAR +
    REPSEPCHAR none
    COMPSEP ""













    "#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""# ""#""#""#""#""#""#""#""#""#""#""#"
    "#" 服务报告 - 我们如何交付页面 "#"
    "#" "#"
    "#" 状态 - 页面是否交付正常或失败 "#"
    "#" Proctime - 发送文件的时间 "#"
    "#" 失败 - 人们请求这些页面，但它失败了 "#"
    "#" Failhost, Failref - 失败来自这些主机上的链接，在这些 URL 上 "#"
    "#" Redir - 人们请求了这些文件但被重定向了" #"
    "#" Redirhost, redirref - 重定向来自这些主机和 URL 上的链接 "#"
    "#" "#"
    "#" COLS, CHART, SORTBY, FLOOR, SUB, ARGS, LINKINCLUDE - 同上 "#"
    "#" 304ISSUCCESS - 304 Not Modified 表示用户看到了缓存副本：即成功！"#"
    "#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""# ""#""#""#""#""#""#""#""#""#""#""#""#"

    REPORTORDER x1QmWDdHwh4657oZSlLujJkKfsNnBbpvRMcPztiEIYyr DOMCOLS

    PQ DOMSORTBY 页面 DOMFLOOR -500p子域上的DOMCHART 域。. . SUBDOMSORTBY PAGES SUBDOMFLOOR 1.5%p








    DIRECTORY ON DIRECTORY
    ON
    DIRCOLS PQc
    "#" "#" 根据网络团队 "#" 请求
    ，排除所有“本地”和“图像”目录。 "#" DIREXCLUDE */local DIREXCLUDE /images "#" DIRSORTBY PAGES7 SUBDIRSORTBY PAGES7 DIRFLOOR 0q SUBDIRFLOOR 0q SUBDIR / / / / / TYPECOLS上的 TYPECHART 上的 FILETYPE Rb TYPESORTBY BYTES SUBTYPE .gz, .























    ORGCOLS Pb
    ORGSORTBY PAGES
    ORGFLOOR -500p
    SUBORGSORTBY PAGES
    SUBORG 。. . .com
    SUBORGFLOOR 25.0%p

    HOST ON
    HOSTCHART ON
    HOSTCOLS Pb
    HOSTSORTBY PAGES
    HOSTFLOOR -500p

    BROWSERREP ON
    BROWREPCHART ON
    BROWREPCOLS Rb
    BROWREPSORTBY
    REQUESTS BROWREPFLOOR -400r

    BROWSERSUM ON
    BROWSUMCHART ON
    BROWSUMCOLS PQq
    BROWSUMSORTBY PAGES7
    BROWSUMFLOOR -200q
    SUBBROW / / /
    SUBBROWSORTBY PAGES7
    SUBBROWFLOOR -400q

    STATUS ON
    STATUSCHART ON
    STATUSCOLS R
    STATUSSORTBY ALPHABETICAL
    STATUSFLOOR -200r
    304ISSUCCESS ON

    OSREP ON
    OSCHART ON
    OSCHARTEXPAND Windows
    OSCOLS PQq
    OSSORTBY PAGES7
    OSFLOOR -200q
    SUBOSSORTBY PAGES7
    SUBOSFLOOR -500q

    PROCTIME ON
    PROCTIMECOLS R
    PROCTIMECHART ON

    USER ON
    USERCOLS Rb
    USERCHART ON
    USERSORTBY
    REQUESTS USERFLOOR -500r

    REQUEST ON
    REQCOLS上的
    REQCHART RSc REQSORTBY
    REQUESTS7
    REQFLOOR 0.5%s
    REQARGSSORTBY REQUESTS7
    REQARGSFLOOR 0.5%s
    REQEXCLUDE *
    REQINCLUDE *.html
    REQINCLUDE *.htm
    REQINCLUDE *.zip
    REQINCLUDE *.gz
    REQINCLUDE *.Z
    REQINCLUDE .pdf
    REQLINKEXCLUDE /cgi-bin/
    REQLINKEXCLUDE /scripts/*
    REQLINKINCLUDE *
    REQLINKINCLUDE *.zip
    REQLINKINCLUDE *.pdf FAILCOLS RS 上的 FAILCHART上的失败 FAILSORTBY REQUESTS7 FAILFLOOR -300s FAILARGSSORTBY REQUESTS7 FAILARGSFLOOR 10s FAILLINKEXCLUDE * FAILHOST ON

    FAILHOSTCHART ON
    FAILHOSTCOLS RS FAILHOSTSORTBY REQUESTS7











    FAILHOSTFLOOR -500s

    FAILUSER ON
    FAILUSERCOLS R
    FAILUSERCHART ON
    FAILUSERSORTBY
    REQUESTS FAILUSERFLOOR -400r

    FAILREF ON
    FAILREFCHART ON
    FAILREFCOLS RS
    FAILREFSORTBY
    REQUESTS7 FAILREFFLOOR -300s FAILREFARGSSORTBY
    REQUESTS7
    FAILREFARGSFLOOR 10s
    FAILREFLINKINCLUDE *

    REDIR ON
    REDIRCHART ON
    REDIRCOLS SR
    REDIRSORTBY
    REQUESTS7 REDIRFLOOR -300s REDIRARGSSORTBY
    REQUESTS7
    REDIRARGSFLOOR 500s

    REDIRHOST ON
    REDIRHOSTCHART ON
    REDIRHOSTCOLS SR
    REDIRHOSTSORTBY REQUESTS7
    REDIRHOSTFLOOR -500s

    REDIRREF ON
    REDIRREFCHART ON
    REDIRREFCOLS RS
    REDIRREFSORTBY
    REQUESTS7 REDIRREFFLOOR -300s REDIRREFARGSSORTBY
    REQUESTS7
    REDIRREFARGSFLOOR 500s
    REDIRREFLINKINCLUDE *

    REFSITE ON
    REFSITECHART ON
    REFSITECOLS PQ
    REFSITESORTBY PAGES7
    REFSITEFLOOR -500q
    REFDIRSORTBY PAGES7
    REFDIRFLOOR 50.5%q

    REFERRER ON
    REFCHART ON
    REFCOLS PQ
    REFSORTBY PAGES7
    REFLINKINCLUDE *
    REFFLOOR -500q
    REFARGSORTBY PAGES7
    REFARGSFLOOR 50.5%q

    VHOST ON
    VHOSTCHART ON
    VHOSTCOLS Rb
    VHOSTFLOOR -200b
    VHOSTSORTBY BYTES

    REDIRVHOST ON
    REDIRVHOSTCHART ON
    REDIRVHOSTCOLS R
    REDIRVHOSTFLOOR -200r REDIRVHOSTSORTBY
    REQUESTS

    REDIRUSER ON
    REDIRUSERCOLS R
    REDIRUSERCHART ON
    REDIRUSERSORTBY
    REQUESTS REDIRUSERFLOOR -200r

    SEARCHWORD ON
    SEARCHWORDCHART ON
    SEARCHWORDCOLS PQq
    SEARCHWORDSORTBY PAGES7
    SEARCHWORDFLOOR 1.5%q

    SEARCHQUERY ON
    SEARCHQUERYCHART ON
    SEARCHQUERYCOLS Q
    SEARCHQUERYSORTBY PAGES7
    SEARCHQUERYFLOOR -500q

    INTSEARCHQUERY ON
    INTSEARCHQUERYCOLS R
    INTSEARCHQUERYFLOOR
    -300r
    上的 INTSEARCHQUERYCHART INTSEARCHQUERYSORTBY 请求

    INTSEARCHWORDCOLS
    R
    上的 INTSEARCHWORDCHART
    INTSEARCHWORDFLOOR -400r
    INTSEARCHWORDSORTBY 请求

    再次，希望这也有帮助，祝你好运，伙计！

    • 1

  3. 对于日志文件的自定义解析，有一个很好的脚本发布在http://www.biterscripting.com/SS_WebLogParser.html。它是为 Web 服务器日志编写的，但您可以将其用作为任何类型的日志编写自己的日志解析器的起点。

    帕特里克

    • 0

相关问题