Docker部署日志聚合工具Loki(单机)-技术教程-四时宝库

一、部署环境说明

本文中使用本地VM虚机部署测试。

OS：CentOS Linux release 7.8.2003 (Core) 3.10.0-1160.15.2.el7.x86_64

IP：192.168.168.103

Docker Version：v20.10.6

虚机配置：2核CPU、4G内存

注：①系统为最小化安装，部署前已完成系统初始化、内核及安全优化；

②Docker及Docker Compose已安装。

③Iptables防火墙已启用，Docker服务启动容器时映射的端口会自动添加至Iptables防火墙相关规则中，不需要手动更改Iptables规则。

官方建议说明：

如果用于测试或开发环境，则可以使用Docker或Docker Compose安装Loki和Promtail。对于生产，建议使用Tanka或Helm安装。

二、Docker方式部署

镜像仓库地址：

https://hub.docker.com/r/grafana/loki

https://hub.docker.com/r/grafana/promtail

Docker部署官方说明文档：

https://grafana.com/docs/loki/latest/installation/docker/

1.下载镜像

docker pull grafana/loki:2.2.1
docker pull grafana/promtail:2.2.1

2.创建目录并下载配置文件

mkdir -p /data/loki
cd /data/loki
wget https://raw.githubusercontent.com/grafana/loki/v2.2.1/cmd/loki/loki-local-config.yaml -O loki-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.2.1/cmd/promtail/promtail-docker-config.yaml -O promtail-config.yaml

3.构建容器

## Loki
docker run -d --name loki --restart always \
 -v /data/loki:/mnt/config \
 -p 3100:3100 grafana/loki:2.2.1 \
 -config.file=/mnt/config/loki-config.yaml
## Promtail
docker run -d --name promtail --restart always \
 -v /data/loki:/mnt/config \
 -v /var/log:/var/log grafana/promtail:2.2.1 \
 -config.file=/mnt/config/promtail-config.yaml

注：①loki-config.yaml和promtail-config.yaml为运行Loki和Promtail的配置文件。

②从v1.6.0版本开始，image被配置为默认以用户loki的身份使用UID 10001和GID 10001运行。您可以使用其他用户，特别是在使用绑定安装时，可以通过docker run使用命令–user=UID指定UID 并使用适合您需要的数字UID来使用。

4.查看容器是否启动

docker ps -a

5.查看Loki状态

## 查看metrics数据：
http://192.168.168.103:3100/metrics ，下图为部分信息截图。

## 查看loki运行状态是否为ready：
http://192.168.168.103:3100/ready

6.安装grafana

镜像仓库地址：
https://hub.docker.com/r/grafana/grafana

Docker部署官方文档：
https://grafana.com/docs/grafana/latest/installation/docker/

①下载镜像

docker pull grafana/grafana

②创建配置文件、数据及日志文件目录

mkdir -p /data/grafana/{conf,data,log}

③构建容器

docker run -d --name grafana --restart always \
-p 3000:3000 -v /data/grafana/data:/var/lib/grafana \
-v /data/grafana/log:/var/log/grafana \
grafana/grafana

注：本文中宿主机映射端口也使用3000，可根据实际需求更改。

④查看日志

docker logs -f grafana

发现报错，对容器内的'/var/lib/grafana'目录没有操作权限，有两种方法解决

方法一：修改宿主机挂载目录权限

chmod 777 /data/grafana/data
## 重启grafana
docker restart grafana

再次查看日志，或者使用 docker ps -a 命令查看运行中的容器，发现已无报错，容器启动成功。

方法二：启动容器时指定运行用户。

docker stop grafana
docker rm grafana
docker run -d --user root --name=grafana \
 --restart always -p 3000:3000 \
 -v /data/grafana/data:/var/lib/grafana \
 -v /data/grafana/log:/var/log/grafana \
grafana/grafana

再次查看日志，或者使用 docker ps -a 命令查看运行中的容器，发现已无报错，容器启动成功。

⑤复制出配置文件

docker cp grafana:/etc/grafana/grafana.ini /data/grafana/conf/

注：可根据实际环境情况修改配置文件，如加上域名或修改端口等，本文中保持默认，

⑥重新构建容器

docker stop grafana
docker rm grafana
docker run -d --user root --name=grafana \
 --restart always -p 3000:3000 \
 -v /data/grafana/data:/var/lib/grafana \
 -v /data/grafana/log:/var/log/grafana \
 -v /data/grafana/conf:/etc/grafana \
 grafana/grafana

三、Docker Compose方式部署

1.下载docker-compose文件(也可不下载文件修改，直接创建)

mkdir -p /data/loki
cd /data/loki
wget https://raw.githubusercontent.com/grafana/loki/v2.2.1/production/docker-compose.yaml -O docker-compose.yaml

2.下载loki及promtail配置文件

mkdir -p /data/loki/conf
cd /data/loki/conf
wget https://raw.githubusercontent.com/grafana/loki/v2.2.1/cmd/loki/loki-local-config.yaml
wget https://raw.githubusercontent.com/grafana/loki/v2.2.1/cmd/promtail/promtail-docker-config.yaml

3.修改docker-compose文件

//创建grafana数据目录，用于挂载
mkdir -p /data/grafana/data
//修改目录权限属性
chmod 777 /data/grafana/data
cd /data/loki
vi docker-compose.yaml
//更换为如下内容
version: "3"

networks:
  loki:

services:
  loki:
    image: grafana/loki:2.2.1
    restart: always
    ports:
      - "3100:3100"
    volumes:
      - /data/loki/conf:/etc/loki
    command: -config.file=/etc/loki/loki-local-config.yaml
    networks:
      - loki

  promtail:
    image: grafana/promtail:2.2.1
    restart: always
    volumes:
      - /var/log:/var/log
      - /data/loki/conf:/etc/promtail
    command: -config.file=/etc/promtail/promtail-docker-config.yaml
    networks:
      - loki

  grafana:
    image: grafana/grafana
    restart: always
    ports:
      - "3000:3000"
    depends_on:
      - loki
      - promtail
    volumes:
      - /data/grafana/data:/var/lib/grafana
    networks:
      - loki

4.启动容器

cd /data/loki
docker-compose -f docker-compose.yaml up -d

5.查看运行状态

docker ps -a
或 
docker-compose ps

四、测试使用

## 访问grafana：
http://192.168.168.103:3000，默认用户密码为admin/admin。首次登录需要更改密码。

## 选择左侧栏设置(齿轮图标)→Data Sources→Add data source，搜索Loki并选择，然后在HTTP选项中的URL栏配置源地址为http://loki:3100，保存

## 点击"Save & Test"，如下图所示则添加成功。

## 完成数据源的添加后，切换到 Grafana 左侧区域的Explore(圆形图标)

## 即可进入到Loki的页面。

## 然后点击Log browser就可以把当前系统采集的日志标签给显示出来，可以根据这些标签进行日志的过滤查询。

## 选择相应的日志文件，就会把该文件下面的日志过滤展示出来。

## 选择 job → varlogs，再点击 “show logs”

## 即可查看到 varlogs 的日志信息。

四时宝库

程序员的知识宝库

Docker部署日志聚合工具Loki(单机)