배경 상황Harbor를 Helm chart통해 설치하고 컨테이너 이미지와 헬름 차트를 푸시하려고 하니 docker login / helm registry login와 같은 CLI에서의 레지스트리 로그인이 실패했다. Harbor UI 에서의 로그인은 잘 되는데 로그인을 시도한 Robot account에 문제가 있나 싶어 권한 조정도 해보고 했는데 계정 권한 문제는 아니었고… harbor-core pod와 harbor-registry pod를 살펴봤는데 registry Pod에서 아래와 같이 core와 registry간의 내부 인증이 실패하는 에러로그가 남아있었다(core pod에는 별 로그가 없었음).error authenticating user "harbor_registry_user": authenti..

배경 상황주말에 장애 알림이 와서 확인했더니 배치 잡을 돌리는데 사용하는 젠킨스가 죽는 바람에 중요한 비즈니스 로직이 돌지 않고 있었다. 이걸 젠킨스로 돌리는 게 맞나? 라는 의문도 들지만 그 이전에 젠킨스에 모니터링 관련된 설정이 되지 않아서 알림을 못받고 있던 게 큰 문제였는데, 최근 PagerDuty를 도입한 김에 PagerDuty로 알림 설정을 하기로 했다. PagerDuty에서 Jenkins 파이프라인 실패 알림 설정하기1. Jenkins에서 PagerDuty 알림을 설정하려면 먼저 PagerDuty 플러그인을 설치해야한다. Jenkins에서 Jenkins 관리 > Plugins > Available plugins를 클릭하고, pagerduty를 검색해 다운로드 받는다. 2. 플러그인을 선택하..

배경 상황지금 재직중인 회사가 데이터 비즈니스를 하는 곳이라 원래도 토이 프로젝트를 만들려고 하는 개발자나 경쟁사(로 추정되는 사람)로부터의 크롤링이 꽤나 많은 편인데, 최근 이상 트래픽이 감지되어 살펴보니 User Agent가 아래와 같았다.meta-externalagent/1.1(+https://developers.facebook.com/docs/sharing/webmasters/crawler) User-Agent에서 표시된 링크를 들어가보면 Meta-ExternalAgent 크롤러는 AI 모델 훈련, 콘텐츠를 직접 인덱싱하여 제품 개선 등의 사용 사례를 목적으로 웹을 크롤링합니다 라고 설명이 되어있다. Llama 5에는 우리 회사 데이터가 들어갈수도 있는 것;;; 그래서 Meta의 AI 봇을 차단..

배경 상황접근제어 관리를 위해서 Teleport를 Helm chart로 배포하는데 Teleport Cluster와 연결한 NLB에서 Pod로의 헬스체크가 실패하고 있었다. 해결 방법Pod 로그를 살펴봤을 때에는 별 문제가 없어서 LB쪽 설정을 확인했는데 다음과 같이 설정되어있었다. (참고로 지금 회사에서는 LB와 k8s 리소스의 라이프사이클을 다르게 가져가기 위해 Ingress 대시 Target Group Binding을 사용하고 있다. 자세한 설명은 다음 AWS 블로그 포스팅을 참조.)apiVersion: elbv2.k8s.aws/v1beta1kind: TargetGroupBindingmetadata: name: teleport-tgb namespace: teleportspec: networkin..