본문 바로가기

분류 전체보기

 (127)
[pandas, null값 처리] 간특하고 악착스러운 null값 척결하기 안녕하세요.   이번에는 파이썬에서 null값을 처리하는 방법에 대해 작성해보려고 합니다.    null값이라 말했지만 False, None, NaN, "" 등에 대해서 다룹니다.     테스트할 데이터는 다음과 같습니다.   import numpy as nptest_df = pd.DataFrame({"data": ["False", False, "None", None, "", "NaN", np.nan, pd.NA]}) # 1,3,4,6,7     여기서 제가 처리하고 싶은 데이터 idx는 1, 3, 4, 6, 7가 됩니다.  for idx, row in test_df.iterrows(): target = row['data'] if pd.notnull(target): print(f"..
[권한, window] Error using --file-write: EPERM: operation not permitted, open {file}. 나의 귀여운 권한을 데리러 왔다 안녕하세요.   오늘은 윈도우 권한 부여 방법에 대해 알아보려 합니다. 1. 문제상황  window vscode에서 remote-ssh를 사용해서 서버에 접속하려고 했는데. 아래와 같은 에러가 떴습니다.      powershell과 cmd에서 ssh로 접속하려고 하니 접속이 되지 않았습니다.  Bad permissions. Try removing permissions for user: \\Everyone (S-1-1-0) on file C:/Users/224_PC20/.ssh/config. Bad owner or permissions on C:\\Users\\224_PC20/.ssh/config   2. 문제 해결 방법  대부분 permission이 들어간 에러는 권한 문제입니다. 그래서 간단하게 권한..
[linux, python] /home 주인님 집에 들어가서 식솔들 집 구경하기 안녕하세요.   사실 제목을 어떻게 지어야 할 지 몰라서. 저렇게 지었습니다만. 내용은 다음과 같습니다.  다른 후보 제목으로는 "주인님 가솔들 풍비박산내기"가 있었습니다.   리눅스 /home 하위에 있는 n개의 각 사용자 계정의 특정 루트에 있는 데이터 읽기.  1. 문제상황  /home/main/{생략}/task.py에서 /home 하위에 있는 n개의 각 사용자 폴더의 /data/ttl 폴더의 csv파일만 열어서, 데이터 처리를 한 다음, 처리한 데이터를 다시 저장하는 상황입니다.  /home/main/{생략}/task.py (현위치)/home/team1/home/team2../home/team13   현위치에서는 permission deny 문제로 /home 하위의 폴더를 읽지 못합니다.   물..
[데이터 처리] 도로명주소x상세주소 처단 일지 안녕하세요.   현재 큼직한 프로젝트가 끝났습니다. 매우 큰 함성. 와아아앙.  이 프로젝트에 쓰인 데이터가 주소누리집의 도로명주소 한글과 상세주소 표시라는 데이터입니다.  이번에 쓸 글은 이 데이터를 다루면서 있었던 과정입니다. 그때 간단하게 적어놨던 글이 있는데, 그 글을 바탕으로 이번 게시물 작성하겠습니다.   프로젝트 내용에 관해서는 언급하기 어려워서. 얼랑뚱땅 넘어가는 부분이 있을 수 있습니다. 귀엽게 봐주세요. 1. 데이터  도로명주소는 우리에게 매우 친숙한 데이터이죠. 제가 사용할 데이터인 도로명주소 한글과 상세주소 표시는 각각 24개, 18개의 컬럼(24년09월기준)을 가졌고, 각 컬럼에 대한 정보는 아래 링크에서 확인할 수 있습니다.   https://business.juso.go.kr/..
[vituralenv-workon: command not found] 제발... 작동해봐요.... conda가 아닌 python vituralenv를 쓰시고 계신다고요? 그런데 workon: command not found 에러가 뜨셨다고요?   1. workon? workon은 conda activate 와 비슷합니다. 패키지나 라이브러리의 버전을 여러 가상환경에서 다르게 정의할 수 있는 일종의 툴이죠. conda activate {환경이름}workon {환경이름}  2. 에러 발생 상황 저는 vscode의 터미널(bash)에서 workon을 실행했을 때, 위와 같은 에러가 발생했습니다.   3. 에러 해결 방법 에러를 해결한 방법은 아래와 같습니다. cd # 홈 디렉토리로 이동. .profile # profile 스크립트 실행  4. 에러 발생 원인? bash 터미..
[No module named 'apt_pkg'] 나..촴...이런 에러 처음이야... 지금까지 컴공 학도로서 아나콘다 여러 번 깔았지만. 처음 보는 에러를 발견했습니다.  ModuleNotFoundError: No module named 'apt_pkg'  어처구니가 없더군요.     gpt는 패키지 업데이트를 하라고 했지만. 패키지 역시 저 모듈이 없어서 업데이트가 안 된대요...ㅋ  요즘 gpt한테 악감정이 생겨서. 패키지 업데이트 안 되는 거 보고 그냥 꺼버렷어요.    사설이 길었네요. 오래 기다리셨습니다. 해결 코드는 아래와 같습니다. sudo apt install --reinstall python3-aptcd /usr/lib/python3/dist-packagesls | grep apt_pkgcp apt_pkg.cpython-36m-x86_64-linux-gnu.so apt_p..
[에러] error: subprocess-exited-with-error 일로 와바 저는 bert-for-tf2 설치하려는데 해당 에러가 발생햇습니다. pip install bert_for_tf2   구글링 해보니까 아래 명령어를 써보라는데 다 안 됐어요. 1. setuptools, wheel, pip 업그레이드pip install --upgrade setuptools wheelpython -m pip install --upgrade pip  2. git clone을 통해 설치git clone https://github.com/kpe/bert-for-tf2.gitcd bert-for-tfpython setup.py install  근데 여기서 python setup.py install 하니까 아래 에러가 떴습니다. Traceback (most recent call last): File..
[OpenRefine, BlazeGraph] 리컨사일링이 뭔데 씹덕아 1. 리컨사일링(Reconciling)이 뭐여. 그래프에 관한 지식이 있다면 이해하기 쉬울겁니다.   간단히 말하자면, 리컨사일링은 데이터를 외부 resource와 매칭하는 과정을 의미합니다.  무슨 말인지 모르시겠다면. 어... 유감입니다.  다음에 여유가 생기면 그래프 관련 글도 올려볼게요.  2. 리컨사일링 도구? 저는 아래 도구들을 썼고, JAVA는 필수로 깔려있어야 구동 가능합니다. OpenRefine: 데이터 정제 툴, RDF 제작BlazeGraph: 그래프 저장소  환경은 아래 표와 같습니다. versionJAVA17.0.11OpenRefine3.8.1rdf-extentionv1.5.0BlazeGraph2.1.6OSWindow10   다운로드 링크입니다. https://openrefine.o..

티스토리툴바