Grafana - metadata DB 변경 ( mysql )
·
Monitoring/Grafana
meta data storage는 default sqlite이다. 아래는 mysql로 setting하는 작업이다. 1. Mysql set up mysql 설치 mysql에 grafana user와 privileges 설정 grafana session table 생성 2. grafana.ini 파일에서 mysql enable설정 3. grafana start mysql 접속 mysql> CREATE DATABASE grafana; mysql> GRANT ALL ON `grafana`.* to 'grafana'@'%' identified by 'datatech'; mysql> flush privileges; mysql> SELECT user, host FROM user; mysql> CREATE TABLE ..
Grafana - Alert
·
Monitoring/Grafana
Alert rulesContact pointsNotification policiesSliencesAlert groups [ Alert rules ]조건에 따른 알림 생성 알림을 저장할 Folder가 최소 1개 필요하다'Run queries'버튼 클릭시 미리 임계값을 적용한 그래프보기 가능[ Contact points ]message보낼 template와알림을 보낼 SNS정보( Contact points ) 등록가능   [ Sliences ]알림 설정을 잠시 동안 Off하는 기능  참조 : https://velog.io/@hansung/Grafana-8.0-%EA%B0%9C%EC%84%A0%EB%90%9C-%EC%95%8C%EB%A6%BC-%EA%B8%B0%EB%8A%A5
Zeppelin - Spark Interpreter Permission Error
·
Monitoring/Zeppelin
에러메세지 ] org.apache.zeppelin.interpreter.InterpreterException: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter...Caused by: org.apache.zeppelin.interpreter.InterpreterException: Fail to open SparkInterpreter...Caused by: java.lang.reflect.InvocationTargetException...Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acce..
Apache Zeppelin - 인증 및 접근권한 설정
·
Monitoring/Zeppelin
제플린의 인증은 shiro.ini파일로 설정한다. sudo cp /usr/local/zeppelin/conf/shiro.ini.template /usr/local/zeppelin/conf/shiro.ini sudo vi /usr/local/zeppelin/conf/shiro.ini sudo /usr/local/zeppelin/bin/zeppelin-daemon.sh restart 재시작후 웹페이지에서 제플린메인을 접속하면, 기존 anonymous계정으로 로그인과 인터프리터, 설정등 페이지에 접근이 불가능하다. [ Shiro.ini Config ] 설정파일은 main, users, roles, urls와 같이 4파트로 나뉘는데 각 파트별 설정내용은 다음과 같다. [main] :Realm과 같은 Securi..
Apache Zeppelin - crontab
·
Monitoring/Zeppelin
[ zeppelin-site.xml 설정 ] sudo vi /usr/local/zeppelin/conf/zeppelin-site.xml -- 추가 -- zeppelin.notebook.cron.enable true Notebook enable cron scheduler feature [ web UI crontab 설정 ] Cron Expressions seconds - minutes - hours - day of month - month - day of week - year 예시 0 0/5 * * * ? : 매 5분 10 0/5 * * * ? : 매 5분 10초 ( 10:00:10, 10:05:10 ) 0 30 10-12 ? * WED,FRI : 10:30, 11:30, 12:30 매주 수요일,금요일 0..
Apache Zeppelin - CDH의 spark 연동
·
Monitoring/Zeppelin
1. CDH 작동확인 해당 웹UI를 통해 실행확인 HDFS : http://:50070 YARN http://:8088/cluster 2. 재플린 환경파일 설정 vi /zeppelinPath/conf/zeppelin-env.sh export MASTER=yarn-client export HADOOP_CONF_DIR=[your_hadoop_conf_path] export SPARK_HOME=[your_spark_home_path] HADOOP_CONF_DIR : 도커설치시 : /scripts/docker/spark-cluster-managers/cdh/hdfs_conf 일반설치시 : /etc/hadoop/conf 3. 인터프린터 수정 및 실행 인터프린터 설정페이지에서 위 그림의 master를 yarn-cl..
Apache Zeppelin - Hive 설치 [ Install ]
·
Monitoring/Zeppelin
[ Interpreter 추가 ] 제플린 웹UI에서 우측상단의 Interpreter를 클릭한다. Default로 Hive는 설치되어있지않아 Hive Interpreter를 추가해야한다. Interpreter name : hive( 임의로 ) Interpreter group : jdbc properties : dependencies : 타이핑 후 'Save'를 버튼을 누른다. 관련 파일을 다운로드 받은 후 Name옆에 초록색불이 뜨면 완료다. 아래 zeppelin document를 참고 * https://zeppelin.apache.org/docs/0.9.0-preview1/interpreter/jdbc.html#apache-hive [ 호환성 ] Java와 hive-jdbc, zeppelin 삼박자에 맞..
Apache Zeppelin - 설치 [ Install ]
·
Monitoring/Zeppelin
[ 조건 ] Java설치 [ 다운로드 ] $ wget http://mirror.navercorp.com/apache/zeppelin/zeppelin-0.9.0-preview2/zeppelin-0.9.0-preview2-bin-all.tgz $ mkdir /usr/local/zeppelin $ mv zeppelin-0.9.0-preview2-bin-all.tgz /usr/local/zeppelin/ $ tar -xzvf zeppelin-0.9.0-preview2-bin-all.tgz $ cd /usr/local/zeppelin/zeppelin-0.9.0-preview2-bin-all [ Java Path ] $ which java /usr/bin/java $ ls /usr/bin/java /usr/bin/..
wave35
'Monitoring' 카테고리의 글 목록