[Nifi] user guide 공부 필기

 

nifi.apache.org/docs/nifi-docs/html/user-guide.html

Apache NiFi User Guide

 

위 Nifi User Guide 에서 내가 알아둬야 하거나 필수라고 생각되는 내용을 여기 적는다.

모든 내용이 들어있지 않으므로 내용이 필요한 사람은 직접 읽는 것을 권장.

 

 

 

 

 

- 대부분의 브라우저에서 Nifi GUI 가 제공되지만, 모바일 브라우저는 지원되지 않음.

 

 

 

- DataFlow Manager(DFM) : Processor 등을 추가, 제거, 수정할 수 있는 권한을 갖는 사용자.

즉 GUI 를 사용하여 Nifi 를 관리하는 너 바로 당신.

 

- FlowFile은 FlowFile 속성과 FlowFile 콘텐츠의 두 가지 구성 요소로 구성됨.

 

FlowFile 콘텐츠는 FlowFile 에 들어있는 데이터

실제 콘텐츠는 disk 내에 있고, FlowFile 에는 실제 콘텐츠에 대한 포인터를 갖고 있음.

FlowFile repo 의 메타데이터와 Content repo 의 콘텐츠는 수정되지 않음. 수정하고 싶으면 원본 콘텐츠를 복사한 후 수정하고 저장하는 방식으로 진행해야 함. 설명 링크

마치 Spark 의 dataframe 같은 느낌.

 

FlowFile 속성은 데이터에 대한 정보 및 Context. 예를 들면 파일의 크기나 날짜 등.

키-값 쌍으로 구성되고 다음과 같은 표준 속성을 갖고 있다고 함.

 

uuid : 시스템의 다른 FlowFile과 FlowFile을 구별하는 범용 고유 식별자
filename : 디스크 또는 외부 서비스에 데이터를 저장할 때 사용할 수 있는 사람이 읽을 수 있는 파일 이름
path : 데이터가 단일 디렉토리에 저장되지 않도록 데이터를 디스크 또는 외부 서비스에 저장할 때 사용할 수있는 계층 구조화 된 값

 

 

- funnel(깔때기) : 여러 연결(connection) 들을 하나로 뭉쳐줌. 말 그대로 깔때기처럼 하나로 뭉침.

두 가지 장점이 있음.

1. GUI 상에서 관리하기 쉬움.

2. 하나의 연결에 있는 모든 데이터의 우선 순위를 지정할 수 있음.

funnel 이  없었다면 들어오는 데이터들의 우선순위를 일일이 정해야 한다고 함.

 

- RPG(Remote Process Group) : NiFi의 한 인스턴스에서 다른 인스턴스로 데이터를 전송해야하는 경우 사용

 

- flow.xml.gz : NiFi 내의 Flow 가 자동으로 여기 기록됨.

기본적으로 nifi/conf 에 위치함

Nifi Flow 를 백업하고 싶다면 이 파일을 백업하면 됨.

기존 flow 로 롤백하고 싶다면 백업한 이 파일을 이용하여 덮어쓰면 됨