---

Trouble Shooting

Created: 2020, 06 23 >Updated: 2026, 05 22

Disclaimer

This page has a lot of different area's problem.
You should search your specific trouble with Ctrl+F.

문제해결법

조건을 단순하고 명확하게 정리

조건과 관련된 정보를 찾아 연결

근거없는 무엇이 개입되지 않아야 함

처리 완료

jupyter notebook

linux wifi hard blocked after suspend(lid off)

raspberry pi network TODO

  • can't connect wifi
  • seem to be a hardware problem, when I used to a raspbian occurred the same problem. cannot access wifi before connecting ethernet

vagrant coreos

Github officially support https

vagrant

  • ! uid not match

  • rm -r .vagrant

  • If want access each other. Set private network

!sdcard cant recognized problem

  • diskpart
  • select disk <disk number>
  • clean
  • Using SDFormatter, format

terraform init

! Kibana error

  • default host cannot found
  • Need elasticsearch environment docker. setting
  • elasticsearch read only problem
  • maybe hdd space not enough then lock.
  • cannot install sample

ansible

  • how to prevent to try kubectl init twice

  • ! Failed to get information on remote file (./join-command): sudo: a password is required

    • become: false

  • ! E:Malformed entry 1 in list file /etc/apt/sources.list.d/kubernetes.list.list (Component), E:The list of sources could not be read

  • repo: deb https://apt.kubernetes.io/ kubernetes-xenial main

  • space bar check...

  • ! Vagrant access

    • /etc/ansible/hosts <ip> ansible_user <> ansible_pass <password>
    • apt install sshpass

  • ! Install denied

    # Ansible_book.yml
become: true
become_method: sudo

  • Install docker

ubuntu bluetooth multiple device connect problem TODO

my server terraform GCP AWS

  • Letsencrypt need IP test, it means I need to change DNS before server change

  • Letsencrypt

  • ! failed authorization procedure

  • my mistake. my DNS to set to Cloudflare

  • ! Github page build failed

  • site directory some problem -- nono

  • tags file don't allow -- delete tags file (ctags file by gutentags)

Jenkins

AWS API

grafana prometheus

  • prometheus not working
  • ! err="opening storage failed: found unsequential head chunk files 194 and 257"
  • prometheus docker-compose cannot volume folder, need each file

gatsby troubleshooting

WSL REACT

docker compose volume 안되는 현상 ln -s /mnt/c /c cp -R myproject /c/Users/myproject permission deny /etc/wsl.conf enabled = true \ options = 'metadata,umask=22,fmask=11' https://github.com/docker/for-win/issues/2151 server nodemon error Dockerfile에 막아뒀던 copy를 안풀었음3000 포트로 접속 안됨 vm에서 포트포워딩 해줘야 함 또는 docker ip로 접속 (192.168.99.100) server로 접속 시 에러 버튼 누르면 동작

이클립스

점 찍어서 자동으로 안뜨면 Window-preferences-java-editor-content assist-advanced-java proposals 활성화

python lambda korean broken

  • sns -> lambda -> sqs -> lambda2
  • sns -> lambda ok
  • lambda ok
  • lambda -> sqs (?)
  • lambda log in cloudwatch
  • yes, this send unicode.
  • when it sends sqs. ascii broken
  • problem in receive list -> convert string
  • receive body is string, so I've tried string split, but it need json dump
  • sqs -> lambda2 ok (send message test ok)
  • lambda2 ok (korean input test ok)

! wasm rack

  • if i want to add package (ex. grpc, aws-cli), go wasm not working. cpu over usage and freezing.

vimwiki

  • tag
  • ! [[ ctrl+x ctrl+o enter not working, instead using ctrl+o,n
  • wiki autocomplete enter not working
  • shift+enter working
  • previous link get
  • nnoremap <leader>l i<c-r>="[" . expand("#") . "]" . "(./" . expand("#") . ")"<cr><esc>
  • https://www.reddit.com/r/vim/comments/f5gi2g/vim_notetaking_automatic_link_creation_between/
  • omnicomplete(autocomplete) enter not working
  • instead using <S-CR>
  • Down arrow select content
  • :inoremap <Down> <C-R>=pumvisible() ? "\<lt>C-N>" : "\<lt>Down>"<CR>

! docker 실행 안될 시 hypervisor 끄기

  • bcdedit /set hypervisorlaunchtype off
  • 파워셀에서 명령어를 실행해야 하고 관리자 모드여야 한다

! Docker wsl <-> window 통신 하려면 추가 필요

export DOCKER_HOST=tcp://192.168.99.100:2376
export DOCKER_TLS_VERIFY=1
export DOCKER_CERT_PATH="/mnt/c/Users/shdke/.docker/machine/machines/default"
export DOCKER_MACHINE_NAME="default"
export COMPOSE_CONVERT_WINDOWS_PATHS="true"

! GitHub Pages is temporarily down for maintenance.

it's really just temporarily down

! docker 8080 cannot access

  • docker-compose command go run server.go --> run is ok. but can't connect
  • different command and run server.go in docker --> run and connect ok

! golang test not working

package name folder go env gopath

  • import . "." problem

! chsh -s not working

  • don't need sudo. but need password.

! git - error: ref does not point to a valid object

git for-each-ref --format="%(refname)" | while read ref; do
    git show-ref --quiet --verify $ref 2>/dev/null || git update-ref -d $ref
done

from https://stackoverflow.com/questions/6265502/getting-rid-of-does-not-point-to-a-valid-object-for-an-old-git-branch

go

  • ! vim-go binary install failed, could not find 'golangci-lint'
    • golangci not support go get
  • disable lint check
  • ! could not find gopls -> reinstall gopls
  • wasm function not defined
    • cache clear

keyboard setting was initialized in zshrc sometimes

is it sudo's problem? no when timeshift run, it's initialized

npm global permission denied

mkdir ~/.npm-global
npm config set prefix '~/.npm-global'

docker로 클라이언트 테스트

172.17.0.1로 통신하면 로컬호스트로 되는데 포트 통신이 안된다.

! alpine에 go binary 실행 안되는 문제

  • CGO_ENABLED=0 go build client.go
  • 또는 -tags static netgo 를 넣어준다

go grpc

protoc --go_out=. *.proto 기본 proto 파일을 이용해 grpc 코드를 생성하는 방법 근데 이렇게만 하면 에러가 난다 proto 파일에 option go_package = "<grpc package 경로>" 입력해주고, 명령어에 --go_opt=paths=source_relative 붙여줘야 한다. opt 안붙이면 경로를 현재 폴더 기준에서 새로 생성해버린다

kubernetes

! kubernetes 접근이 안된다. api 서버가 나간건지, 서버 자체가 문제가 있는건지 확인해야겠다. ssh 접속이 안된다.

  • do 관리창에 서버 cpu, memory 상태는 계속 잘 출력되고 있다.
  • 관리창에서 콘솔로 접근하니 outofmemory 에러가 떠있다.
    • 로그를 추가로 확인하는 방법을 찾아봐야겠다.
    • aws, gcp에서는 cloudwatch, stack driver가 에러를 보여준다
    • digital ocean도 모니터링 서비스가 있다.
  • outofmemory에 대해
  • linux 시스템 log 확인 방법
    • 어떤 자원이 메모리를 많이 먹었는지 확인
    • /var/log/syslog
    • dmesg - 부팅하는 동안의 메시지
  • 일단 쿠버네티스 자원들을 제거해야겠는데, api server가 접속이 안되는데 어떻게 정지시킬 수 있지?
    • 쿠버네티스 자체를 정지하는 방법. (정지 후 빨리 접속해서 다 딜리트 시킨다)
    • 마스터를 껐다 켜서 api server를 다시 돌게 할 수 있다
  • k3s 서버를 찾아야하고, k3s 를 꺼도 다시 켜진다...
    • k3s kill all script가 k3s 설치 시 깔린다. /usr/local/bin/k3s-killall.sh
  • kubernetes가 메모리를 많이 차지하는 것은 맞는데, 그러면 어떻게 해야하나
  • 어떤 리소스가 많이 썼는지를 확인해야 한다.
    • kubectl top pod --all-namespaces
  • istio monitoring을 위해 모니터링 서비스를 너무 많이 킨게 문제였던 것으로 보인다. promethus가 메모리를 많이 사용한다.
    • argocd를 삭제해서 여유가 생긴 것도 있어서 argocd가 사용한 양이 얼만지 확인해봐야겠다.
      • 메모리를 사용한 로그가 있나?
        • 메모리 자원 같은 로그를 남기려면 트래킹하는 서비스를 이용해야한다.
      • describe로 확인하려면 없애지 말았어야 한다.
  • node-1 이 unknown 상태다. 확인 필요
    • describe node 로 확인
    • cpu 사용량이 과도했다. 리부팅을 하면 되나? 리부팅 하지 않아도 살릴 방법을 찾아야 한다.
      • systemctl daemon-reload, systemctl restart kubelet 실행할 수 있다
    • kubelet 의 로그를 확인해 볼 수 있다
      • journalctl -u kubelet

kubernetes ingress TODO

  • ! external-ip <pending> lock

kubernetes helm

  • cannot connect traefik dashboard in vagrant
  • ! Error: unknown flag: --service-account
  • tiller was removed helm version 3

kubernetes execute tty

  • ! Error from server: no preferred addresses found; known addresses: []

Trouble Shooting

재설치

kubeadm reset
systemctl stop kubelet
systemctl stop docker
rm -rf /var/lib/cni/
rm -rf /var/lib/kubelet/*
rm -rf /etc/cni/
ifconfig cni0 down
ifconfig flannel.1 down
ifconfig docker0 down
ip link delete cni0
ip link delete flannel.1

마스터 IP 변경되어 재설정

  • /etc/kubernetes 및 관련 디렉토리 삭제
  • kubeadm reset

마스터 IP 변경 시 삭제 후 실행했는데 IP 못 찾는 경우 발생

kubectl get 시 connection refuse

  • init 시 connection refuse

미니큐브 삭제

minikube stop
minikube delete
docker stop (docker ps -aq)
rm -r ~/.kube ~/.minikube
sudo rm /usr/local/bin/localkube /usr/local/bin/minikube
systemctl stop 'kubelet.mount'
sudo rm -rf /etc/kubernetes/
docker system prune -af --volumes

출처: https://github.com/kubernetes/minikube/issues/1043

connection refuse 8080

connection refuse 6443

connection refuse 10248

[WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at [https://kubernetes.io/docs/setup/cri/](https://kubernetes.io/docs/setup/cri/"

port 10250 in use

  • node에서도 kubeadm reset 을 해줘야 한다

mount fail 발생

  • path를 맞게 안해줬다

apply 해줘야 새로 할당된 자원을 잡음

pod 이름 검색 쉽게하는법

실시간으로 올라가는거 확인

네트워크 연결이 이상함 flannel과 weave가 겹친것 때문인지.. reset 해본다

coredns 연결 안됨

  • flannel 에서 안됨 > 재설치 후 weave 사용

db 생성이 안됨

  • 3서버에 glusterfs 설치

kubernetes에서 deployment로 만든 pod 에서 image가 이상한 곳에서 불러짐 이미지를 삭제하고 다시 만들었더니 이미지를 다른 곳에서 불러옴

웹 연결 안되는 현상

  • 일단 오픈된 서버에서 앱으로는 들어가진다
  • web과 db가 연결이 안된다
    • label 추가
    • app.kubernetes.io/part-of:<name> 를 전체에 추가

db 레플리카를 두개로 하면 데이터는 어떻게 되는가 replica 2로 하고 접속 시 db와 연결 안됨

web db 연결 안됨

  • selector 설정함
  • selector , template.metadata.lables.app 이 같아야 함

노드 NotReady 노드 리셋했다

web 접속 시 the database system is starting up db 데이터 손상 재설치..

노드 추가 후 기존 노드에 있는 POD 옮기기

  • kubectl cordon <node-name>

노드에 포드 할당 안하도록 설정

  • kubectl drain
  • 안됨.. 기존 노드 삭제 했음

docker pull 안될 시

  • 고정 ip 설정 시 dns 설정 안한 것이 원인 dns-nameservers 8.8.8.8

한번에 한 서버에만 들어가야 하는데 두 서버에 분산해서 신호가 들어간다 블루-그린 배포를 하면 해결은 되겠지만 롤링 업데이트를 테스트 해봐야 한다

내용 편집 중에 업데이트가 실행되어 서버가 옮겨지면 불안정하지 않은가?

블루-그린 배포시 배포하는 위치를 신경써야 하나?

filestore 도 공유가 되어야 한다

  • 볼륨 되는 방식 확인

postgresql/data - kubernetes/postgres

새로 만들 때는 포드 안의 데이터가 밖으로 나오는 것인가 새로 만들 때도 기존 데이터가 포드안에 들어가는 것인가 새로운 포드를 만들면 기존 데이터가 붙는 것인가 새로운 포드에서 데이터를 지우면 기존의 데이터가 없어지는 것인가 상위 폴더 하위 폴더 영향이 있는가

  • odoo/filestore, odoo/session 이 필요하면 odoo만 가져오면 되는가 두개를 다 명시해 줘야 하는가

  • 권한 설정 해줘야 한다 root로 실행하거나 runAsUser: 0 파일을 odoo 에게 권한을 주거나 chown odoo:odoo

2 서버가 다운되면 1서버로 들어가져야 한다

재부팅 후 node 가 NotReady 상태가 됨 swapoff -a 하니까 됨

! Inactive registered OAuth URIs for your project

api oauth 창에서 redirect로 설정해놓은 주소들이 만료되었나보다. 현재 안쓰는 주소들이었고, 제거해줬다.

! golang fatal

  • elasticsearch가 처음 시작이 오래걸려서 서버가 커넥션을 못한다 커넥션을 못하면 서버가 중지되고 docker에 의해서 재시작 되었으면 좋겠는데 log.Fatal이 있어도 로그만 남기고 그냥 가만히 있는다
  • Fatal은 되는데 docker가 정지하지 않는다
    • go run 으로 하면 도커가 꺼지지 않고, build해서 실행파일을 실행시키면 꺼진다.

k3s

- cgroup memory 에러 발생
    - sudo vi /boot/firmware/cmdline.txt
      Add cgroup_enable=cpuset cgroup_enable=memory cgroup_memory=1 into end of the file.
    - https://github.com/k3s-io/k3s/issues/2067

ubuntu 22 업데이트 후 문제점

한 영 할 때 팝업이 뜸

caps lock 을 ctrl로 바꾼 설정이 동작 안함

side terminal 동작 안함 deprecate 됨. 새로 찾아야 함

ETC

github id/password 로그인 막힌 문제

https 로 받은 패키지들 ssh로 받아야 ssh로 인증됨

docker react 404s will fallback to /

일단 docker-compose.yml 에 stdin_open: true 넣어주면 되긴 된다

golang server TODO

버그가 있다.

  • 새로 고침 하다보면 결과값을 못 받아올 때가 있다. ✅ 2026-05-22
  • es 서버는 패닉이 자꾸 뜬다 ✅ 2026-05-22
  • git 폴더 onedrive에 있는 거 로컬이랑 똑같은지 확인
    • 다르다... 어떡하지

리눅스 부팅 안될 때

fsck /devsdb5 전부 y 하고 reboot