728x90 반응형 BIG DATA/NiFi28 NiFi에서 FetchFile Processor란? FetchFile Processor란?ListFile 또는 수동으로 지정된 경로를 기반으로,파일 시스템에 존재하는 실제 파일 내용을 읽어 FlowFile의 내용(Content) 으로 가져오는 Processor입니다.즉,ListFile은 → 파일의 "이름"만 FlowFile 속성(attribute)으로 만듦FetchFile은 → 해당 "파일을 실제로 열어서", 그 내용을 FlowFile의 body(content) 로 만듦🛠️ 주요 사용 흐름plaintextCopyEdit[ListFile] → [FetchFile] → [후속 처리: 예, UpdateAttribute, PutFile 등] ✅ 주요 속성 설명속성설명예시Input Directory기본 입력 경로 설정 (FlowFile에 path 속성이 없을 경.. 2025. 5. 28. NiFi 2.2.0 에 ListFile 프로세스 ListFile Processor란?NiFi의 디렉토리 감시 Processor로,특정 폴더의 파일 목록을 주기적으로 스캔하고, 새로 발견된 파일 이름을 FlowFile로 내보내는 역할을 합니다.❗중요:ListFile은 파일을 직접 읽는 게 아니라 "파일 목록만" 나열합니다.파일 내용을 읽으려면 → FetchFile Processor와 연결해야 합니다.✅ 대표적인 용도용도설명폴더에 새로 생성된 파일 자동 감지정해진 주기로 폴더 스캔파일이름을 FlowFile로 넘김이후 FetchFile이 내용을 읽음대용량 디렉토리 분할 처리많은 파일을 하나씩 순차 처리 가능파일 메타정보 기준 조건 분기사이즈, 수정 시간 등으로 필터링 ⚙️ 주요 설정 (NiFi 2.2.0 기준)속성명설명예시Directory감시할 대상 디렉토.. 2025. 5. 28. NiFi 1.16.3 수동설치 - Windows 11에 1. JDK 17 설치함 (Azul)2. 다운로드 https://archive.apache.org/dist/nifi/1.16.3/ -> nifi-1.16.3-bin.zip3. git 설치 --> bash 사용해서 로그를 보거나 검색하려고.4. 실행 : run-nifi.bat5. 접속 : https://127.0.0.1:8443/nifi/6. Username과 Password 는 로그를 찾아서 확인함. mecen@goldencrab-msi MINGW64 /c/nifi-1.16.3/logs $ grep Generated nifi-app.log Generated Username [e1171852-94e9-4164-ab8a-b64a77d7287a] Generated Password [msSSJ7PTMF.. 2025. 5. 15. Apache NiFi Expression Language(NiFi EL) **Apache NiFi Expression Language(NiFi EL)**는 NiFi의 가장 강력한 기능 중 하나로,FlowFile의 속성이나 시스템 정보 등을 동적으로 참조하고 조작할 수 있게 해주는 내장 언어입니다.🧠 한 줄 정의:"NiFi Expression Language는 FlowFile의 Attribute 값을 조건 제어, 경로 결정, 이름 변경 등 다양한 설정에 활용할 수 있도록 해주는 스크립트 언어입니다."🔧 왜 필요할까?NiFi의 대부분 Processor는 설정값에 정적인 문자열만 넣는 것이 아니라,"${filename}", "/data/${fileType}/" 같은 동적인 값도 처리할 수 있어야 하죠.이를 가능하게 해주는 것이 Expression Language입니다.✨ 자주 .. 2025. 5. 14. 이전 1 2 3 4 ··· 7 다음 728x90 반응형