系统运维

基础命令

包含基础的字符串搜索、文件搜索、进程监控、内存监控、CPU 监控、IO 监控、网络监控……

有问题找“男人”(man)

## 查看进程信息



## 查看当前机器开启了哪些端口?



## 查看指定端口是哪个进程在占用?


## 内存分析


## 网络分析


## CPU 分析


## IO 分析


## JVM 调优/分析

中间件命令

## 启动Hadoop 服务
cd /Users/xumenger/Desktop/library/hadoop-2.10.1/hadoop-2.10.1/sbin
./start-all.sh




## 启动HBase 服务,包含HBase 内置的ZooKeeper
cd /Users/xumenger/Desktop/library/hbase-2.3.3/hbase-2.3.3/bin
./start-hbase.sh

# 打开HBase 客户端
cd /Users/xumenger/Desktop/library/hbase-2.3.3/hbase-2.3.3/bin
./hbase shell




## 启动MySQL 服务
mysql.server start




## 启动Hive 服务
cd /Users/xumenger/Desktop/library/apache-hive-2.3.8-bin/bin
./hive --service metastore &

# 启动HiveServer2
./hive --service hiveserver2 &

# 打开Hive 客户端
cd /Users/xumenger/Desktop/library/apache-hive-2.3.8-bin/bin
./hive 




## 启动Kafka 服务
cd /Users/xumenger/Desktop/library/kafka/kafka_2.11-1.0.0/
./bin/kafka-server-start.sh ./config/server.properties

# 创建Topic,比如
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic SparkTopic1
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic SparkTopic2

# 生产者脚本,启动后可以随时通过输入生产消息(回车发送消息)
./bin/kafka-console-producer.sh --broker-list localhost:9092 --sync --topic SparkTopic1




## 启动Zookeeper,如果HBase 内置的zookeeper 已经启动,这里无法启动
cd /Users/xumenger/Desktop/library/zookeeper/zookeeper-3.4.12/bin
./zkServer.sh start

# 连接到Zookeeper 服务端
# 使用Zookeeper 自己的客户端
cd /Users/xumenger/Desktop/library/zookeeper/zookeeper-3.4.12/bin
./zkCli.sh

# 使用HBase 的Zookeeper 客户端
cd /Users/xumenger/Desktop/library/hbase-2.3.3/hbase-2.3.3/bin
./hbase zkcli




## 启动ElasticSearch 服务



## 启动Kibana


中间件监控

HDFS Web UI,查看HDFS 中的文件等信息 http://localhost:50070/

  • Datanodes: 查看各个Datanode 节点的磁盘占用、块等信息
  • Datanode Volume Failures
  • Snapshot
  • Startup Progress
  • http://localhost:50070/explorer.html 查看HDFS 中的文件信息

Spark Web UI,查看特定的Spark Job 信息 http://localhost:4040/jobs/

HBase Web UI,查看HBase Master 信息、HBase 表信息等 http://localhost:16010/

  • Home: 查看基础的内存、存储、副本信息;查看表的信息
  • Table Details: 查看详细的表信息
  • Procedures & Locks
  • HBCK Report
  • Process Metrics: 查看HBase 集群的线程、GC 信息
  • Local Logs: 查看HBase 集群的日志信息
  • Log Level: 设置日志级别
  • Debug Dump: 查看HBase 集群内部的线程Dump 信息
  • Metrics Dump
  • Profiler:
  • HBase Configuration: 查看HBase 的XML 配置信息

HiveServer2 Web UI,查看HiveServer2 日志等信息 http://localhost:10002/

  • Home: 当前存活的会话、执行过的SQL 执行情况
  • Local logs: 查看HiveServer2 的日志
  • Metrics Dump
  • Hive Configuration: 查看HiveServer2 的配置信息,hive-site.xml
  • Stack Trace: 查看各线程的调用栈信息
  • Llap Daemons