본문 바로가기
728x90
반응형

BIG DATA/NiFi21

Funnel 의 용도 구글링 하다가 스택오버플로에 있는 답변을 정리한것이다. ========================= GenerateFlowFile 프로세서가 20개 있다고 상상해 보자. 각 프로세스들은 LogAttribute 프로세스와 연결되어 있다. 이제 LogAttribute 프로세서를 다른 프로세서로 교체해야 한다고 상상해 보자. GeneratateFlowFile 프로세서들은 LogAttribute 프로세서에 직접 연결되어 있으므로 이를 수행하는 것은 어려운 작업이다. 그러나 둘 사이에 Funnel이 있는 경우 모든 프로세서가 아닌 Funnel의 대상인 LogAttribue하나만 교체하면 됩니다. 또한 디버깅 흐름에도 사용할수 있다. 데이터 흐름의 중간 결과를 확인하기 위한 빠른 목적지(대상)이 필요한 경우에 사.. 2023. 11. 6.
NiFi 글이 있는 블로그.. Funnel 에 대한 정보를 찾다가 알게됨. 시간될때 한번 읽어보자. https://eyeballs.tistory.com/342 [Nifi] user guide 공부 필기 nifi.apache.org/docs/nifi-docs/html/user-guide.html Apache NiFi User Guide NiFi provides various mechanisms for getting around a dataflow. The NiFi User Interface section describes various ways to navigate around the NiFi canvas; however, once a flow exist eyeballs.tistory.com 2023. 11. 6.
Avro Schema Definition 아래와 같은 엑셀 파일을.... AVRO SCHEMA 로 표현하면.. { "type":"record", "namespace":"com.erp", "name":"empDetail", "fields": [ {"name":"Emp ID", "type":"int"}, {"name":"Name Prefix", "type":"string"}, {"name":"First Name", "type":"string"}, {"name":"Middle Initials", "type":"string"}, {"name":"Last Name", "type":"string"}, {"name":"Gender", "type":"string"}, {"name":"Email", "type":"string"} ] } 2023. 11. 4.
Apache NiFi 로 데이터 흐름 제어하기 출처 : https://syaku.tistory.com/378 글이 웬지 지워질지 모를것 같아서 복사해놓음 Apache NiFi 로 데이터 흐름 제어하기 2019. 8. 18. 01:08 DevOps /378 apache nifi, elasticsearch, kibana 모두 처음 다뤄보는 기술이라 잘 못된 설명이 있을 수 있습니다. Why 저희 팀은 모니터링 데이터를 수집하고 메신저로 전달하여 실시간으로 정보를 받을 수 있는 서비스를 운영 중입니다. 문제는 모든 데이터를 항상 메신저로 보내주고 있다는 점이며 만약 갑작스런 오류로 대량의 데이터가 수집되거나 중요한 데이터가 저장되지 않아 다시 찾아 볼 수 없는 상황입니다. 저희는 기민하게 움직여야 하는 조직이며 업무와 병행하며 다양한 이슈를 처리하고 있어.. 2023. 10. 27.
728x90
반응형

티스토리툴바