728x90 반응형 BIG DATA/NiFi29 NiFi 2.2.0 PostgreSQL to CSV 예제 NiFi 2.2.0에서 PostgreSQL을 조회하여 CSV 파일을 만드는 완전한 예제를 만들어드렸습니다.주요 구성 요소는 다음과 같습니다:PostgreSQL 설정: users 테이블 생성 및 10개의 샘플 데이터NiFi Flow: GenerateFlowFile → ExecuteSQLRecord → ConvertRecord → PutFileController Services: DBCPConnectionPool, JsonTreeReader, CSVRecordSetWriter핵심 포인트:ExecuteSQLRecord가 PostgreSQL에서 데이터를 JSON 형태로 가져옵니다ConvertRecord가 JSON을 CSV로 변환합니다PutFile이 최종 CSV 파일을 저장합니다시작하기 전에 확인해야 할 사항:P.. 2025. 6. 2. NiFi에서 FetchFile Processor란? FetchFile Processor란?ListFile 또는 수동으로 지정된 경로를 기반으로,파일 시스템에 존재하는 실제 파일 내용을 읽어 FlowFile의 내용(Content) 으로 가져오는 Processor입니다.즉,ListFile은 → 파일의 "이름"만 FlowFile 속성(attribute)으로 만듦FetchFile은 → 해당 "파일을 실제로 열어서", 그 내용을 FlowFile의 body(content) 로 만듦🛠️ 주요 사용 흐름plaintextCopyEdit[ListFile] → [FetchFile] → [후속 처리: 예, UpdateAttribute, PutFile 등] ✅ 주요 속성 설명속성설명예시Input Directory기본 입력 경로 설정 (FlowFile에 path 속성이 없을 경.. 2025. 5. 28. NiFi 2.2.0 에 ListFile 프로세스 ListFile Processor란?NiFi의 디렉토리 감시 Processor로,특정 폴더의 파일 목록을 주기적으로 스캔하고, 새로 발견된 파일 이름을 FlowFile로 내보내는 역할을 합니다.❗중요:ListFile은 파일을 직접 읽는 게 아니라 "파일 목록만" 나열합니다.파일 내용을 읽으려면 → FetchFile Processor와 연결해야 합니다.✅ 대표적인 용도용도설명폴더에 새로 생성된 파일 자동 감지정해진 주기로 폴더 스캔파일이름을 FlowFile로 넘김이후 FetchFile이 내용을 읽음대용량 디렉토리 분할 처리많은 파일을 하나씩 순차 처리 가능파일 메타정보 기준 조건 분기사이즈, 수정 시간 등으로 필터링 ⚙️ 주요 설정 (NiFi 2.2.0 기준)속성명설명예시Directory감시할 대상 디렉토.. 2025. 5. 28. NiFi 1.16.3 수동설치 - Windows 11에 1. JDK 17 설치함 (Azul)2. 다운로드 https://archive.apache.org/dist/nifi/1.16.3/ -> nifi-1.16.3-bin.zip3. git 설치 --> bash 사용해서 로그를 보거나 검색하려고.4. 실행 : run-nifi.bat5. 접속 : https://127.0.0.1:8443/nifi/6. Username과 Password 는 로그를 찾아서 확인함. mecen@goldencrab-msi MINGW64 /c/nifi-1.16.3/logs $ grep Generated nifi-app.log Generated Username [e1171852-94e9-4164-ab8a-b64a77d7287a] Generated Password [msSSJ7PTMF.. 2025. 5. 15. 이전 1 2 3 4 ··· 8 다음 728x90 반응형