728x90 반응형 BIG DATA/NiFi21 FlowFile, Processor, Connection 개념 출처 : https://www.youtube.com/watch?v=mxnYWTabqqQ 2023. 10. 27. Zero Master Cluster 개념 Hadoop Cluster 의 경우, Master-slave 구조를 갖고 있어서 Master가 장애시 서비스에 문제가 생긴다. 그런다, NiFi Cluster의 경우에는 Master가 없어서, 유동적으로 서비스가 가능함 사진출처 : https://www.youtube.com/watch?v=mxnYWTabqqQ 2023. 10. 27. nifi 실습하기 2 1편은 다음에....올리겠음... https://www.youtube.com/watch?v=_SABMAiJ5Hg GenerateFlowFile ( 임시 테스트 데이터를 만들어 사용할 때) -> Properties -> Custom Text 에 데이터입력 UpdateAttribute (속성, query를 사용하기 위해서) -> property 를 추가한다. -> Propeties -> schema.name 추가 -> 값은 hkschema 로 설정 데이터 베이스 쿼리로 데이터를 조작을 할 수 있다. QueryRecord CSV 파일을 SQL로 조작하려면, 다음 루틴을 따라야 한다. 1. Schema Access Strategy -> Use 'Schema Name' Property 를 사용해라. 2. Sche.. 2023. 10. 24. Apache Nifi 설치하기 with Docker 도커에서 설치하기로 함. $ sudo apt update $ sudo apt upgrade -y $ docker pull apache/nifi:latest $ docker run --name nifi -p 8443:8443 -v nifi-root:/home/nifi -e NIFI_WEB_HTTP_PORT='8443' -d apache/nifi:latest $ docker logs -f nifi 접속해보기 docker exec -it nifi /bin/bash 루트로 접속해보기 docker exec -u 0 -it nifi bash Windowls Powersheel 접속. 계정관련 설정이 없으면....계정없이 바로 들어갈수 있다. http://localhost:8443/nifi/ Windows Power.. 2023. 10. 24. 이전 1 2 3 4 5 6 다음 728x90 반응형
