Monitor and Log OpenStack Clouds with ELK

=> Lấy nhật ký:
Hầu hết các dịch vụ quy ước ghi log của chúng vào thư mục con của /var/log/. Các thành phần sau đây tạo ra các bản ghi cần được theo dõi:

    Nova (log location – /var/log/nova)
    Swift (log location – /var/log/syslog)
    Cinder  (log location – /var/log/cinder)
    Keystone  (log location – /var/log/keystone)
    Neutron (log location – /var/log/neutron)
    Glance  (log location – /var/log/glance)

Ngoài ra, Openstack cho phép truy xuất log bằng API REST và CLI. Sử dụng API trả về dữ liệu theo định dạng JSON có cấu trúc, giúp quá trìnhog ghi log và vận chuyển log đơn giản hơn do khả năng tương thích tốt với Logstash và Elasticsearch.

=> Authentication
Để sử dụng API Openstack, cần một token xác thực mà có thể lấy đc từ keystone bằng curl:

curl -X POST -H "Content-Type: application/json" -d '{
   "auth": {
      "tenantName": "<TENANT_NAME>",
      "passwordCredentials": {
         "username": "<USERNAME>",
         "password": "<PASSWORD>"
      }
   }
}' "http://<OPENSTACK_IP>:35357/v2.0/tokens/"

TENANT_NAME: tên dự án muốn giám sát
USERNAME, PASSWORD: thông tin đăng nhập admin vào Openstack
OPENSTACK_IP: địa chỉ opensatck.

=> Nova Metrics
	Theo dõi từ : - hypervisor
				  - server/Vm
				  - tenant
=> Hypervisor Metrics
    - current_workload: số task (build, snapshot, migrate, ...)
    - Running_vms: số VMs.
    - vcpus: số use/available CPUs
    - free_disk_gb: dung lượng ổ cứng trống = GB
    - free_ram_mb: dung lượng bộ nhớ khả dụng

GET http://<IP>:8774/v2.1/os-hypervisors/statistics

=> Server Metrics
	Thông tin về các bản riêng lể hoạt động trên các node compute
	GET http://<IP>:8774/v2.1/<TENANT_ID>/servers/<SERVER_ID>/diagnostics
	Danh sác máy chủ cho mỗi tenant
	GET http://<IP>:8774/v2.1/<TENANT_ID>/servers

=> Tenant Metrics
	GET http://<IP>:8774/v2.1/os-quota-sets/<TENANT_ID>

=> RabbitMQ
	Các dữ liệu đc thu thập = [rabbitmqctl]:

	- đếm queues hoạt động
	Command: rabbitmqctl list_queues name | wc -l

	- kích thước queues theo bytes
	Command: rabbitmqctl list_queues name memory | grep computeytes

	- số consumer theo queues
	Command: rabbitmqctl list_queues name consumers | grep compute

=> Cách giám sát và ghi log OpenStack với ELK

	- Cài đặt Logstash trên OpenStack Controler
	- Sử dụng Logstash để chuyển tiếp log trên các node controller đến Central Elasticsearch server. Ngoài ra có thể sử dụng beats. Beats là những data shipper mã nguồn mở mà ta sẽ cài đặt như các agent trên các server mà chúng ta cần thu thập các sự kiện để gửi các kiểu dữ liệu khác nhau tới Elasticsearch. Beats có thể gửi dữ liệu trực tiếp tới Elasticsearch hay tới Logstash.
	- Chúng ta cần cấu hình logstash để chúng thu thập các bản ghi thích hợp, phân tích và gửi chúng đến một máy chủ Elasticsearch
	- Sử dụng grok để parse,để ELK có thể trình bày dữ liệu 1 cách phù hợp.
	- Giao diện đồ họa tổ chức và làm rõ thông tin chảy vào ELK là Kibana.