본문 바로가기
728x90
반응형

BIG DATA58

Apache NiFi 에서 FlowFile 이란...개념과 디버깅방법 **Apache NiFi에서 FlowFile**은 데이터 이동의 가장 기본 단위입니다.쉽게 말하면, **데이터 1건 + 그에 대한 정보(속성)**을 담고 있는 운반 상자 같은 존재입니다.📦 FlowFile 구성요소Content (내용)실제 데이터 자체입니다.예: 텍스트 파일, JSON, CSV, 이미지, 로그 한 줄 등Attributes (속성)해당 데이터에 대한 메타정보입니다.예: 파일 이름, 경로, 수집 시간, MIME 타입, 처리 상태 등→ key-value 형식의 정보로 Processor 간 전파되어 흐름을 제어할 수 있어요.💡 예시로 이해해보기항목내용FlowFile 내용{"user": "왕자님", "action": "login"}Attributesfilename=login.json, uuid.. 2025. 5. 14.
NiFi에서 **Workflow(워크플로우)**란? 데이터가 시스템을 통과하면서 수행하는 처리 과정의 전체 흐름을 의미합니다.즉, 데이터 수집 → 처리 → 라우팅 → 저장 또는 전달까지의 자동화된 작업 흐름을 지칭해요.📦 구성 요소 중심으로 설명하면:NiFi의 워크플로우는 **다음과 같은 요소들로 구성된 플로우(Flow)**예요:구성 요소설명Processor데이터 처리의 핵심. 예: 수집, 변환, 필터링ConnectionProcessor 간 데이터 흐름을 연결FlowFile이동 중인 데이터 단위 (메타데이터 + 실제 콘텐츠)Process Group워크플로우를 논리적으로 묶는 단위 (서브워크플로우처럼 사용)Controller ServiceDB 연결이나 인증 등 공통 리소스를 설정Templates / Versioned Flows반복 재사용 가능한 플로우 설.. 2025. 5. 14.
Apache NiFi란.... NiFi는 **"Niagara Files"**의 약자입니다. 이 이름은 NiFi가 처음 개발될 당시의 코드명에서 유래했는데, 이름 그대로 "데이터가 폭포처럼 흐른다"는 개념을 담고 있습니다.💡 의미와 배경**Niagara Falls (나이아가라 폭포)**에서 영감을 얻은 이름입니다.→ 데이터를 강력하고 연속적으로 흐르게 하는 시스템이라는 철학이 담겨 있습니다.초기에는 NSA(미국 국가안보국)에서 내부용으로 개발되었고, 이후 Apache에 기증되어 Apache NiFi라는 오픈소스 프로젝트가 되었습니다.🧠 NiFi의 철학과 핵심 의미데이터 흐름(Flow) 중심의 설계실시간, 이벤트 기반 처리시각적으로 데이터 파이프라인을 구성하는 GUI 제공다양한 시스템 간의 데이터 수집, 변환, 분배를 자동화즉, Ni.. 2025. 5. 14.
kafka prosumer (Python), consumer(C++) 샘플소스 소스 # pip install confluent-kafkafrom confluent_kafka import Producerimport jsonproducer = Producer({'bootstrap.servers': '172.24.195.146:9092'})topic_name = "quickstart-events"message = { "code": "A005930", "code_name": "삼성전자", "price": 53700}# message를 JSON 문자열로 변환하고 UTF-8로 인코딩message_json = json.dumps(message).encode('utf-8')producer.produce(topic=topic_name, value=message_json)producer... 2024. 12. 26.
728x90
반응형

티스토리툴바