dataSource option

sungk1003 contents are below.

References: 05-sungk1003 contents: Go Click
Other Blog: Blog ArtRobot (Title: dataSource option) More ...
Publish Date: (2024-06-30|5:30 pm), Modified Date: (2024-07-01|2:19 am)


--- Blog Post Contents
카프카 ISR(In Sync Rplica)
ISR : In Sync Replica 카프카에서 리더가 될 수 있는 파티션 그룹을 의미한다. 각 토픽은 생성할때 몇개의 파티션인지, 복제지수는 몇인지 설정할 수 있는데, 복제지수는 파티션의 복제지수를 의미한다. A라는 토픽을 생성할때 파티션은 2, 복제지수를 3이라고 줬다고 가정하면, A 파티션0, A파티션1 이렇게 두개의 파티션이 생성된다. 그리고 각 파티션을 복제한 팔로워 파티션이 2개가 생성되어 A파티션0, A파티션0-복제본1 , A파티션0-복제본2 으로 구성된다. A파티션1도 마찬가지로 복제본2개가 생성된다. 파티션은 복제본을 가지면서 장애에 대비하는데, 이때 메세지의 수신을 담당하는 파티션이 리더, 복제본들은 팔로워 라고 부른다. 리....... (Publish Date: 2021-01-24)

신규 프로젝트에 git origin 연결
신규 프로젝트 생성시 로컬과 원격 repository를 따로 생성햇을때, 로컬에서 remote repository 연결하는 명령어 (Publish Date: 2020-11-16)

시작하세요! 도커/쿠버네티스 - 인그레스(Ingress)
외부 요청을 어떻게 처리할지 네트워크 7계층 레벨에서 정의하는 쿠버네티스 오브젝트 1. 외부 요청의 라우팅 특정 경로로 들어온 요청을 어떤 서비스로 전달할지 정의하는 라우팅 규칙 설정 2. 가상 호스트 기반의 요청 처리 같은 IP에 대해 다른 도메인 이름으로 요청이 도착했을때, 어떻게 처리할 것인지 정의 3. SSL/TLS 보안 연결 처리 여러개의 서비스로 요청을 라우팅할때 보안 연결을 위한 인증서 쉽게 적용 책에 나온 ingress 생성 예시 yaml 파일 - alicek106.example.com 도메인으로 들어온 요청중에 /echo-hostname 의 경로는 hostname-service 서비스의 80포트로 요청을 전달한다. 인그레스 생성 후 확인은 kubectl get ingress 로....... (Publish Date: 2020-10-08)

카프카 핵심가이드4 - 컨슈머
컨슈머는 카프카 토픽을 읽고 메세지를 받는다. 같은 토픽의 데이터를 다수의 애플리케이션이 소비해야할땐 컨슈머 그룹을 추가하게 된다. 컨슈머 그룹의 컨슈머들은 자신이 읽는 토픽 파티션의 소유권(owenership)을 공유한다. 새롭게 컨슈머 그룹이 추가되거나, 문제가 생겨 중단되면 ownership을 넘겨받아 남은 컨슈머중 하나가 재할당받아 읽는다. 이렇게 소유권을 이전하는 것을 리밸런싱(rebalancing)이라고 한다. 리밸런싱을 하는 동안에는 컨슈머들이 메세지를 읽을수 없어 해당 컨슈머 그룹 전체가 잠시동안 사용불가 상태가 된다. GroupCoordinator -> ownership 관리 브로커에 존재하며 컨슈머 그룹내에서 최초의 컨슈머가 뜰때 생....... (Publish Date: 2020-09-02)

카프카 핵심가이드3 - 프로듀서
프로듀서는 메세지를 생산하여 브로커에 전송하는데, 이때 메세지 전송전략에는 세가지 전송전략이 존재한다. 1. Fire and Forget 메세지 전송 후 응답을 기다리지 않는다. 메세지 유실 가능성이 있지만, 가장빠름.(응답이 안오니까 받았는지 모름) 2. Synchronous Send 동기처리. 메세지 전송 후 callback 3. Asynchronous Send 비동기처리. 메세지 전송후 다른 쓰레드가 응답을 받는다. 필수 옵션들 bootstrap.servers 브로커 서버 정보들 key.serializer 메세지 키 serializer value.serializer 메세지 값 serializer 주요 옵션들 acks (0,1,-1) 위 0 : 응답을받지않음, 1: 리더파티션이 성공하면 성공, -1(all): 복제파티션까지 성공하면 성....... (Publish Date: 2020-09-01)

카프카 핵심가이드2 - 브로커
하나의 카프카 서버를 브로커라고 하는데, 프로듀서로부터 메세지를 수신하고, 오프셋 지정후 메세지를 디스크에 저장하는 역할을 한다. 또한 컨슈머의 요청에 응답하고, 디스크에 수록된 메세지를 전송하는 역할을 한다. 브로커는 클러스터로 구성되어 동작하는데, 그 중 한대의 브로커는 컨트롤러로 선정되어 클러스터 내의 각 브로커에게 담당 파티션을 할당하고, 브로커들이 정상적으로 동작하는지 모니터링하는 관리 기능을 맡는다. 각 파티션은 하나의 브로커가 소유하며, 그 브로커를 파티션 리더라고 한다. 복제지수에 따라 파티션은 여러 브로커에 복제된다. 이 경우, 브로커에 장애가 생기면 복제된 파티션에서 소유권을 인계받아 처리....... (Publish Date: 2020-08-21)

카프카 핵심 가이드1 - 카프카 기초
카프카는 메세지 발행/ 구독 시스템으로 분산 커밋 로그 또는 분산 스트리밍 플랫폼 이라고도 한다. 메세지 카프카에서는 데이터의 기본 단위를 메세지라고 한다. 메세지는 바이트 배열로 구성되어있고, key로 메타데이터를 포함할 수 있다. (Java Object를 serialize 해서 넣기도 하고, JSON,XML등을 사용, 많은 카프카 개발자들은 Avro라는 아파치 직렬화 프레임워크를 선호한다.) 효율성을 위해 여러 개의 메세지를 모아 batch형태로 파티션에 수록하므로, 대기시간(latency)과 처리량(throughput) 을 고려하여 묶음의 단위를 결정해야한다. 토픽과 파티션 카프카 메세지는 토픽으로 분류된다. 토픽은 여러개의 파티션으로 구성될 수 있다. (출....... (Publish Date: 2020-08-18)

시작하세요! 도커/쿠버네티스 - Namespace, Configmap/Secret
1. 네임스페이스 : 리소스를 논리적으로 구분하는 장벽 쿠버네티스에서는 용도에 따라 컨테이너와 리소스들을 구분지어 관리할 수 있는, 논리적인 그룹을 위해 네임스페이스라는 오브젝트를 제공한다. Pod, ReplicaSet, Deployment, Service 등 쿠버네티스 리소스들이 묶여 있는 하나의 가상공간/그룹 이라고 이해할 수 있다. 네임스페이스 목록은 kubectl get namespaces 명령어로 확인할 수 있고, 따로 생성하지 않았더라도, 기본적으로 세개의 네임스페이스가 존재한다.(default, kube-public, kube-system) default는 쿠버네티스를 설치하면 자동으로 사용하도록 설정되는 네임스페이스이다. --namespace 옵션을 주지 않았던 앞의 서비스, 디....... (Publish Date: 2020-08-13)

시작하세요! 도커/쿠버네티스 - Deployment, Service
1. Deployment : ReplicaSet, Pod의 배포를 관리 디플로이먼트는 레플리카셋의 상위 오브젝트이기 때문에, 디플로이먼트를 생성하면, 그에 대응하는 레플리카셋이 생성된다. 따라서 디플로이먼트를 사용하면 pod와 레플리카셋을 직접 생성할 필요가 없다. ex) 디플로이먼트 yaml파일 예시 디플로이먼트를 사용하는 핵심 이유는, 애플리케이션의 업데이트와 배포를 더욱 편하게 하기 위해서다. 예를들면, 애플리케이션을 업데이트할때 레플리카셋의 변경사항을 저장하는 리비전을 남겨 롤백을 가능하게 해주고, 무중단 서비스를 위해 pod의 롤링 업데이트 전략을 지정할 수도 있다. 2. Service : Pod을 연결하고, 외부에 노출 디플로이먼트를 통해....... (Publish Date: 2020-08-10)

시작하세요! 도커/쿠버네티스 - Pod, Replica Set
1. pod : 컨테이너를 다루는 기본 단위 쿠버네티스에서 컨테이너 애플리케이션을 배포하기 위한 기본 단위. 한개의 pod 에는 한개의 컨테이너가 존재할 수도 있고, 여러개가 존재할 수도 있음 ex) nginx 컨테이너로 구성된 pod 생성을 위한 yaml 파일(탭하나는 스페이스 두개와 같음) 작성한 yaml 파일은 kubectl apply -f 명령어로 생성할 수 있고, 쿠버네티스 웹 페이지에서는 UI를 이용해 생성할 수 있다. 생성후 kubectl describe pods pod이름(예시에서는 my-nginx-pod) 명령어로 리소스의 정보를 알 수 있는데, 이중에 포드의 IP정보도 포함되어 있다. 여기서의 IP 정보는 외부에서 접근 할 수 있는 IP정보가 아니기때문에, 쿠버네티스 클....... (Publish Date: 2020-08-05)

시작하세요! 도커/쿠버네티스 - 쿠버네티스 기초
쿠버네티스 - 도커 컨테이너와 도커 스웜 도커 컴포즈등의 프로젝트들의 개념을 한군데 모아서 사용할 수 있는 프로젝트 - 컨테이너 오케스트레이션 도구 - 도커 스웜모드처럼 여러대의 도커 호스트를 하나의 클러스터로 만들어준다는 점은 같지만 더 세부적인 기능들을 제공 장점 - 서버자원 클러스터링, 마이크로서비스 구조의 컨테이너 배포, 서비스장애 복구등 컨테이너 기반의 서비스를 운영에 필요한 대부분의 오케스트레이션 기능을 폭넓게 제공 - 성능, 안정성면에서 신뢰받음 - 컨테이너 기반의 클라우드를 운영할 때 필요한 대부분의 기능과 컴포넌트를 사용자가 직접 커스터마이징 할 수 있음 - CNCF(Cloud Native Computing Foundati....... (Publish Date: 2020-08-04)

스파크 정리1
RDD(Resilient Distrubuted Dataset) 탄력적인 분산 데이터셋, 클러스텅 ㅔ잇는 다수의 머신에 분할되어 저장된 읽기 전용 컬렉션. 스파크프로그램은 하나 또는 이상의 RDD를 입력받고, 일련의 변환 작업을 거쳐 목표 RDD 집합으로 변형. 탄력적 : 유실된 파티션이 있을때 스파크가 RDD의 처리과정을 다시 계싼하여 자동적으로 복구 - 생성방법 1. 객체의 인메모리 컬렉션으로 생성 2. HDFS와 같은 기존 외부 저장소의 데이터셋 사용 3. 기존의 RDD 변환 회사에서 사용할땐 HDFS에 저장된 parquet 파일을 읽어서 스파크로 처리하도록 했다. 코드에서는 저렇게 읽어오면 반환타입이 Dataset 객체길래 찾아보니 RDD, DataFrame, Dataset 에 관한 정....... (Publish Date: 2020-07-31)

도커/쿠버네티스를 활용한 컨테이너 개발 실전 입문 2 - 이미지와 컨테이너
도커 이미지 컨테이너를 구성하는 파일시스템과 실행할 어플리케이션 설정을 하나로 합친것으로 컨테이너를 생성하는 템플릿 역할을 함 도커 컨테이너 도커 이미지 기반으로 생성되며 파일시스템과 어플리케이션이 구체화 되어 실행되는 상태 책에서의 도커 이미지와 컨테이너에 대한 설명이다. 내 생각대로 정리해보자면, 이미지는 내가 구성하고 싶은 환경(예를들면 웹서버와 어플리케이션)을 나열해놓은 배경/템플릿이라고 생각하면, 컨테이너는 그 배경들(도커 이미지들)을 실제로 실행할 수 있는 환경이 된다고 생각한다. 따라서 이미지로 도커 컨테이너를 생성하는 것이고, 이미지 하나로 여러개의 컨테이너를 생성할 수 있다. 이미지는 내....... (Publish Date: 2020-04-14)

도커/쿠버네티스를 활용한 컨테이너 개발 실전 입문 1
1. 리눅스 서버에 도커 설치하기 centOS 7.5 에 도커, 도커 컴포즈를 설치한다. 구글링해서 코드를 참고하였다. 참고후 해당 블로그엔 없지만 docker-compose 까지 설치해주었다. (참고: https://niceman.tistory.com/36) 2. 이제 도커 실습을 진행해볼까? 했더니 권한문제로 계속 docker 명령어 앞에 sudo를 붙여줘야했다. 그래서 sudo 없이 docker를 사용하고자 아래 명령어를 입력해줬다. 만약 이래도 권한문제가 발생한다면 도커를 한번 재시작 해주자( sudo systemctl restart docker ) 3. 책에 나온 도커 기초. 도커는 컨테이너형 가상화 기술을 구현하기 위한 상주 애플리케이션과 이 애플리케이션을 조작하기 위한 명령행 도구로 구성되....... (Publish Date: 2020-04-07)

1. Spring Initializr를 이용하여 Spring Boot 프로젝트 생성하기
Spring Initializr를 이용하여 boot 프로젝트를 생성한다. https://start.spring.io/ 원하는 대로 구성을 해주고 추가하고 싶은 dependency 를 선택해준다. 나는 spring-web, h2, JPA, lombok 만 우선 선택해서 생성했다. 생성하게 되면 zip 파일로 다운받게 되는데, 해당 파일 압축 해제한 다음 인텔리제이로 열었다. 자바 버전은 최신 버전으로 사용해볼 것이다. (현재 13버전) 13버전에 추가된 내용들을 사용해보도록 해봐야겠다. 2019.12.18 추가 꾸준히 작업해야하는데 왜이렇게 귀찮은지, 프로젝트 생성만 해놓고 진행을 안하다가 읽지도 않고 방치된 책을 발견했다. 이 책을 참고하면서 하고싶어서, 책에 나온 구성대로 dependency를 바꿔....... (Publish Date: 2019-11-24)

Spring @bean 설정시 @Qualifier 사용
configuration 파일에 @Bean 어노테이션을 이용해 빈 등록시 생성자 autowired 방식을 이용하여 빈등록을 하려다 에러 발생 순환참조 Exception 이라고 하는데 아무리봐도 순환 참조가 아니었다. 따라서 순환참조의 원인을 밝혀보기 위해 디버깅을 해보았다. 예를 들면 Task 라는 인터페이스를 두고 각각의 구현체 a,b,c,d 를 서로다른 Bean(testTask1, testTask2) 에서 참조하는 상황 여기서 당연히 @Qualifier로 a,b,c,d중 어떤 구현체인지 명시해줘야한다. (@Autowired는 타입으로, @Qualifier는 이름으로 해당 빈을 찾아서 주입시켜준다.) 기존에는 명시를 안해주면 IDE 단에서 에러를 알려줬던것같은데, 이번에는 서버뜰때야 알게되었다. 어....... (Publish Date: 2019-08-14)

git remote 브랜치 reset 시킬때
https://seotory.tistory.com/31 (Publish Date: 2019-03-21)

스프링 웹 설정 참고
https://blog.outsider.ne.kr/904 (Publish Date: 2017-11-03)

war파일 배포 유형 구분
http://ecogeo.tistory.com/tag/war:exploded 종류 war war:exploded war:in-place (Publish Date: 2017-09-28)

dataSource option
spring 웹 프로젝트를 위해 application-properties를 통해 db 설정 정보를 명시해주었다. 디비 연결 정보들을 제외하고 각각의 옵션들의 의미에 대해 살펴보자. test-on-borrow : 커넥션 풀에서 커넥션을 얻어올때 테스트 실행(default : true) validation-query : 커넥션 유효성 검사용 테스트 쿼리 max-total : 동시에 사용할 수 있는 최대 커넥션 개수 max-idle : 커넥션 풀에 반납할 때 최대로 유지될 수 있는 커넥션 개수 min-idle : 최소한으로 유지할 커넥션 개수 max-wait-millis : 커넥션 풀 안의 커넥션이 고갈됐을때 커넥션 반납을 대기하는 시간 출처 : http://d2.naver.com/helloworld/5102792 (Publish Date: 2017-09-25)

---

추천 0