堡塔日志服务系统使用教程

堡塔日志服务系统
功能描述：堡塔日志服务系统是一款功能强大的日志管理和分析工具、多主机多网站日志收集、汇总、存储、统计与分析等多项功能一体的日志分析系统
安装命令：

1. curl -sSO http://download.bt.cn/btlogs/btlogs.sh && bash btlogs.sh install

复制代码

卸载命令：

1. bash btlogs.sh uninstall

复制代码

堡塔日志服务系统命令行操作命令：

1. btlogs

复制代码

1、安装步骤
执行安装命令：

1. curl -sSO [url=http://download.bt.cn/btlogs/btlogs.sh]http://download.bt.cn/btlogs/btlogs.sh[/url] && bash btlogs.sh install

复制代码

建议机器配置： 可用内存大于8G
选择设置的时区：只能是设置亚洲上海的时区或者不设置时区。设置亚洲上海时区，输入y，回车。不设置时区，输入n，回车。

安装完成：需要在防火墙和安全组中开启9203、9204端口才能进行访问。
9203端口用于访问网站，需要开放tcp协议。
9204端口用于收集、传输日志，需要开放udp协议。
防火墙开放的命令：

1. # centos
   
2. sudo firewall-cmd --add-port=9203/tcp --permanent
   
3. sudo firewall-cmd --add-port=9204/udp --permanent
   
4. sudo firewall-cmd --reload
   
5. 
   
6. # debian/ubuntu
   
7. sudo ufw allow 9203/tcp
   
8. sudo ufw allow 9204/udp

复制代码

安全组中开放：参考这个帖子去安全组中开放对应的端口https://www.bt.cn/bbs/thread-109457-1-1.html

访问日志分析系统：

2、添加需要收集日志的主机
点击：收集管理>>添加主机

选择好外网ip或者内网ip，根据自己的实际情况去选择，不要选择错误，选择错误会导致收集不了日志。
如果您是收集外网机器的网站日志，就选择外网ip。
如果您是收集内网机器的网站日志，就选择内网网ip。

然后复制命令到需要收集的主机里面执行，检测这个主机跟日志分析系统是否可以连接通信，如果可以连接通信，说明日志分析系统可以正常的去收集日志。


这时候就配置开启日志发送配置：

• 可以选择设置站点日志和系统日志
• 选择您的web服务器类型
• 填写您的站点域名
• 复制配置到web服务器中
  

nginx服务：
第一个配置：添加至nginx主配置的http模块中

第二个配置：添加至站点配置的server模块中


apache服务：
第一个配置：添加至apache主配置的<IfModule log_config_module>模块里面

第二个配置：添加至站点配置的VirtualHost模块中

系统日志的收集配置：复制命令到需要收集日志的主机里面执行

访问网站，然后查看运维分析模块里面是否有访问日志，如果有说明是收集日志成功。注意：如果网站这时候没有访问数据，收集管理模块的主机列表显示的状态还是"未配置，请先前往配置"，这是正常的，等网站有访问记录之后会显示成接收中。

3、模块讲解
1、日志分析
可以选择不同的网站域名，查询不同网站的关键访问指标，包括浏览量（PV）、访客数（UV）、IP数、流量、请求数等信息，此外，用户可以方便地进行不同时间段的数据比较，包括今日、昨日和总计数据，以便全面了解各网站的访问情况。这一功能旨在使用户能够轻松获取详尽的网站访问信息。


日志分析模块提供了多项高级功能，其中包括：
1. 访客趋势图：用户可以轻松查看不同时间段（今日、昨日、最近7天、最近30天）的访客趋势图。这些趋势图涵盖了访客、浏览量和访客数三个关键指标，有助于深入了解网站的流量情况。其中可以分别按照小时、分钟作为周期刷新趋势图，如果需要实时性高一点的趋势图，建议选择分钟作为周期。
2. 页面耗时统计：提供了页面耗时统计功能，可以帮助用户了解哪些页面加载较慢，从而进行优化。
3. 外部访问来源：提供外部访问来源，帮助用户识别流量的来源，例如搜索引擎、社交媒体等，以便更好地了解受众和市场渠道。
4. IP访问数：统计独立IP访问数，帮助用户了解网站的受众范围和用户多样性、检查是否有反爬虫和恶意访问、进行流量分析等功能。
5. 浏览数最多页面：展示浏览量最高的页面，让用户知道哪些内容受欢迎，以便进行进一步的内容优化和策略制定。
6. 访问来源：记录访问者的IP地区和访问次数。


2、运维分析
运维分析模块提供了三种重要的日志类型，分别为网站访问日志、网站错误日志和系统日志。此外，还提供了高效的搜索日志功能，允许他们通过定义不同的索引规则来快速检索所需的日志信息。如果用户对如何配置索引规则不够了解，我们提供了帮助文档，以指导他们进行配置和优化。这个模块旨在为用户提供更专业、高效的日志管理和分析工具。
网站访问日志包含了每次用户访问网站时的重要信息，用于跟踪和分析网站流量和用户行为。它记录了以下字段：
- 服务器名称：记录产生日志的服务器名称或标识。
- 客户端IP：访问网站的客户端的IP地址，用于确定访问者的来源。
- 网站名称：被访问网站的名称或标识。
- Method：HTTP请求方法（例如，GET、POST）。
- URI：被请求资源的统一资源标识符。
- User-Agent：访问者的用户代理信息，通常包含浏览器和操作系统的信息。
- Referer：指示用户是从哪个页面链接跳转到当前页面的信息。
- 请求数据：客户端发送的请求数据或参数。
- 状态：HTTP响应状态码。
- 耗时：服务器处理请求所花费的时间。
- ReqSize：请求的数据大小。
- ResSize：响应的数据大小。
- 请求时间：访问发生的时间戳。

网站错误日志记录了与网站访问相关的错误和异常情况，有助于识别和解决问题。它包含以下字段：
- 服务器名称：记录产生日志的服务器名称或标识。
- 服务器IP：产生日志的服务器的IP地址。
- 网站名：发生错误的网站的名称或标识。
- 日志内容：详细描述了错误或异常的信息。
- 请求时间：发生错误的时间戳。

系统日志用于记录服务器操作和系统事件，以便管理员监控服务器的状态和性能。它包括以下字段：
- 服务器名称：记录产生日志的服务器名称或标识。
- 服务器IP：产生日志的服务器的IP地址。
- 日志类型：指示日志是由哪个服务产生的。
- 日志内容：包含了有关系统事件或操作的详细信息。
- 请求时间：日志产生的时间戳。

搜索框可通过日志信息的表头去索引日志，例如：客户端ip=192.168.77.111  、网站名称=wp.dengjilin.com等去索引。也可以通过这个下面提供的索引规则去搜索相关日志。




3、收集管理

收集管理提供添加主机、日志收集服务设置。对于添加的主机可以查看服务器名称、服务器名称/IP、状态、已收集日志、最近上线时间、操作
收集管理模块提供了两个重要功能：添加主机和日志收集服务设置。
添加的主机可以展示以下信息：
- 服务器名称：每台服务器都有一个易于识别的名称，可自定义。
- 服务器名称/IP：显示产生日志的ip。
- 状态：反映日志服务系统跟产生日志机器的接收状态。
  - 已停止：表示主机停止发送日志
  - 接收中：表示日志服务系统正在接收来自该主机的日志数据。
  - 未配置，请前往配置：表示尚未配置日志服务，需要用户前往配置以启动日志服务，去web配置中配置日志发送信息，并且产生新的日志之后状态就变化成接收中。

- 已收集日志：可以查看网站访问日志、网站错误日志、系统日志的具体状态。
  - 已停止：表示停止发送日志
  - 接收中：表示日志服务系统正在接收来自该主机的日志数据。
  - 接收中，但未收到数据，请检查配置：没有收到主机发送的日志，可以访问一下网站，然后发送日志到日志服务系统就显示接收中。

- 最近上线时间：显示了服务器的最近上线时间戳。
- 操作：用来配置日志接收的，通过提供的配置，去web服务配置文件里面配置就可以去设置接收日志。

日志收集服务设置可以设置以下功能：
1. 网站别名：用户可以为不同网站设置别名，以便更容易识别和管理日志。这是一个键值对，如：www.bt.cn:宝塔 表示将网站 www.bt.cn 映射为别名宝塔。
2. 系统日志站点别名：用户可以为系统日志站点设置别名，提高可识别性，区分不同的机器。如：192.168.77.111机器设置别名为"测试"。
3. 过滤的URI：用户可以设置要过滤的URI，即指定要排除的全路径。这有助于排除不需要记录的特定请求。例如：填写url为http://192.168.77.111/contact.html ，当访问这个url时，是不会接收这个url的日志，直接过来拦截。
4. 过滤的域名：用户可以设置要过滤的域名，以排除特定域名的日志记录。如：填写www.bt.cn域名，日志服务系统就不会记录这个域名的日志信息。
5. 过滤的IP：用户可以设置要过滤的IP地址，以排除特定IP的日志记录。如：填写ip192.168.77.10，日志服务系统就不会记录这个ip的日志信息。
6. 过滤的UA：用户可以设置要过滤的User-Agent，只要User-Agent包含指定的关键字即可过滤掉。不需要包含全部的UA。如：填写AppleWebKit/537.36，就可以拦截包含这个关键字的UA。
7. 过滤的请求方法：用户可以设置要过滤的HTTP请求方法，只有与指定的方法完全匹配的请求会被过滤掉。如：GET、POST等。
8. 过滤的状态码：用户可以设置要过滤的HTTP响应状态码，只有与指定状态码匹配的请求会被过滤掉。如：404、502等。
9. 过滤系统日志的关键字：用户可以设置系统日志的关键字（区分大小写），只要系统日志包含指定关键字即可过滤掉。如：yum，过滤掉包含关键字yum的日志信息。
10. 过滤错误日志的等级：用户可以设置要过滤的错误日志等级，只有与指定等级匹配的错误日志会被过滤掉。如：error、warn等。
11. 过滤fromdata数据：用户可以设置要过滤的路由下的数据，这是一个键值对，键是路由，值是要过滤的数据。如：name:djl

4、设置
设置模块有以下的功能：
1. 开启SSL：ssl目前是强制开启的，使用的是自签证书，也可以部署成从ca申请的证书，当部署这个ssl证书之后，日志服务系统无法访问，去到ssh终端中执行命令切换回自签证书：btlogs 9
2. 系统别名：为了方便管理和识别，可以给堡塔日志服务系统自定义名称，用于网页标题。
3. 绑定域名：为了增强安全性，建议将堡塔日志服务系统绑定到一个访问域名上。请注意，一旦绑定了域名，只能通过该域名访问堡塔日志分析，以提高可控性和安全性。当绑定域名之后，堡塔日志服务系统不能正常访问，去到ssh终端中执行命令取消域名绑定：btlogs 11
4. 授权IP：为了进一步加强安全性，您可以设置访问授权IP。通过指定允许访问的IP地址列表，可以限制只有指定IP的电脑能够访问堡塔日志服务系统，以保护系统免受未经授权的访问。如果您的白名单ip变化导致堡塔日志服务系统登录不上，去到ssh终端中执行命令关闭ip白名单验证：btlogs 10
5. 安全入口：设置安全入口可以提高登录堡塔日志服务系统的安全性。定义一个安全入口，只有知道这个码的用户才能登录，增加额外的安全层，有助于保护系统免受未经授权的访问。
6. 端口：默认情况下，堡塔日志分析使用端口9203，目前还不能自定义端口。
7. 管理员账号：设置堡塔日志分析账号，可自定义。
8. 密码：设置堡塔日志分析密码，可自定义。
9. 绑定宝塔账号：将堡塔日志分析与宝塔账号绑定。
10. Elasticsearch设置：提供了与Elasticsearch相关的设置，包括Elasticsearch主机、用户名、密码以及数据过期时间的配置。目前只有数据过期时间可自定义。

如果域名用了CDN，堡塔日志分析里面得到的客户端IP是真实客户端的IP吗？需要另外设置什么吗？

日志无法生成账号和密码


Ubuntu 22.04 64位 ARM版

您好，我的宝塔面板安装报错，能不能帮我看看

堡塔-日志分析   收集管理 里面 这边删除某个主机

40.8 KB (41,816 字节)的图片无法上传。

提示：
附件上传完成！成功 0 个，失败 1 个:
QQ截图20231112103525...: 服务器限制无法上传那么大的附件

添加主机，运行命令：curl -k --tlsv1.3 -o /tmp/check.sh  https://192.168.102.96:9203/yinhao/api/collect/check && bash /tmp/check.sh 192.168.102.96 9203 abcd的时候，报告如下错误：
Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0curl: (35) SSL version range is not valid.

绑定三级以上域名也会报告错误：nginx: [emerg] syslog tag length exceeds32 in /www/server/panel/vhost/nginx/api.szz.abcd.com.conf:63 nginx: configuration file /www/server

linuxxp 发表于 2023-11-12 21:46
添加主机，运行命令：curl -k --tlsv1.3 -o /tmp/check.sh  https://192.168.102.96:9203/yinhao/api/colle ...

yum -y update nss
我用这个命令升级了下后就没报这个错了

添加至nginx主配置的http模块中，复制进去提交就报错，提交不了

内测版2023-12-31到期了，现在用不了（我的是以前安装的，但内测过期后重启过服务、服务器）现在打开提示：{"code":0,"res":"试用版已过期，请升级至正式版","nonce":1704156243}
后面咋安排的呀？？？
怎么升级到正式版？？？
收费不？？？怎么收费？？？

宝塔用户_pdxzje 发表于 2024-1-2 08:44
内测版2023-12-31到期了，现在用不了（我的是以前安装的，但内测过期后重启过服务、服务器）现在打开提示： ...

看官网多了个更新，更新后  内测版本，有效期延期至2024-6-30了。

【已解答】堡塔-日志分析 点击 运维分析 报错 ，btlogs 7 报错
https://www.bt.cn/bbs/thread-126531-1-1.html
(出处: 宝塔面板论坛)

  
1、运维分析  还是报错，
2、重启服务后，还得  btlogs  1  重启日志Web服务  后，才能web访问

如何卸载？

为啥一直报 请求出错，请稍后再试？？
日志收集服务设置添加数据，全报错这个

收集管理  里的主机怎么删除某个？？？