본문 바로가기

짜투리

 (37)
[pandas, null값 처리] 간특하고 악착스러운 null값 척결하기 안녕하세요.   이번에는 파이썬에서 null값을 처리하는 방법에 대해 작성해보려고 합니다.    null값이라 말했지만 False, None, NaN, "" 등에 대해서 다룹니다.     테스트할 데이터는 다음과 같습니다.   import numpy as nptest_df = pd.DataFrame({"data": ["False", False, "None", None, "", "NaN", np.nan, pd.NA]}) # 1,3,4,6,7     여기서 제가 처리하고 싶은 데이터 idx는 1, 3, 4, 6, 7가 됩니다.  for idx, row in test_df.iterrows(): target = row['data'] if pd.notnull(target): print(f"..
[linux, python] /home 주인님 집에 들어가서 식솔들 집 구경하기 안녕하세요.   사실 제목을 어떻게 지어야 할 지 몰라서. 저렇게 지었습니다만. 내용은 다음과 같습니다.  다른 후보 제목으로는 "주인님 가솔들 풍비박산내기"가 있었습니다.   리눅스 /home 하위에 있는 n개의 각 사용자 계정의 특정 루트에 있는 데이터 읽기.  1. 문제상황  /home/main/{생략}/task.py에서 /home 하위에 있는 n개의 각 사용자 폴더의 /data/ttl 폴더의 csv파일만 열어서, 데이터 처리를 한 다음, 처리한 데이터를 다시 저장하는 상황입니다.  /home/main/{생략}/task.py (현위치)/home/team1/home/team2../home/team13   현위치에서는 permission deny 문제로 /home 하위의 폴더를 읽지 못합니다.   물..
[데이터 처리] 도로명주소x상세주소 처단 일지 안녕하세요.   현재 큼직한 프로젝트가 끝났습니다. 매우 큰 함성. 와아아앙.  이 프로젝트에 쓰인 데이터가 주소누리집의 도로명주소 한글과 상세주소 표시라는 데이터입니다.  이번에 쓸 글은 이 데이터를 다루면서 있었던 과정입니다. 그때 간단하게 적어놨던 글이 있는데, 그 글을 바탕으로 이번 게시물 작성하겠습니다.   프로젝트 내용에 관해서는 언급하기 어려워서. 얼랑뚱땅 넘어가는 부분이 있을 수 있습니다. 귀엽게 봐주세요. 1. 데이터  도로명주소는 우리에게 매우 친숙한 데이터이죠. 제가 사용할 데이터인 도로명주소 한글과 상세주소 표시는 각각 24개, 18개의 컬럼(24년09월기준)을 가졌고, 각 컬럼에 대한 정보는 아래 링크에서 확인할 수 있습니다.   https://business.juso.go.kr/..
[OpenRefine, BlazeGraph] 리컨사일링이 뭔데 씹덕아 1. 리컨사일링(Reconciling)이 뭐여. 그래프에 관한 지식이 있다면 이해하기 쉬울겁니다.   간단히 말하자면, 리컨사일링은 데이터를 외부 resource와 매칭하는 과정을 의미합니다.  무슨 말인지 모르시겠다면. 어... 유감입니다.  다음에 여유가 생기면 그래프 관련 글도 올려볼게요.  2. 리컨사일링 도구? 저는 아래 도구들을 썼고, JAVA는 필수로 깔려있어야 구동 가능합니다. OpenRefine: 데이터 정제 툴, RDF 제작BlazeGraph: 그래프 저장소  환경은 아래 표와 같습니다. versionJAVA17.0.11OpenRefine3.8.1rdf-extentionv1.5.0BlazeGraph2.1.6OSWindow10   다운로드 링크입니다. https://openrefine.o..
[Oepn API] 공공데이터포탈- 나를 기만하는 SERVICE KEY IS NOT REGISTERED ERROR 해결 수기 저 에러는 공공데이터포탈에서 등록되지 않은 서비스 키를 사용할 때 발생합니다. 하지만 재밌는 사실이 있습니다. 1page당 1000개의 데이터를 요청하고, page가 200까지 있다고 치면, 4, 50, 100, 199... 이런 특정 페이지에서 에러가 생기는 것입니다.     이와 같은 상황에서 해결법을 구하다 지친 저는 문의를 남겼지만. 돌아오는 답변은 "저희는 되는데용? 한 번 더 해보고 문의 남겨주세용ㅎㅎ"    뭐.... 아무튼 슬프지만 어떻게든 해내야죠. 그러다 연구실 선배가 해결법을 찾아주셨답니다..후후.... 이 글은 저와 같은 고난을 겪는 분들을 위한 글이자, 구원과도 같은 선배에게 바치는 헌정글입니다.   일단 원래 제 코드입니다. import requestsimport pandas a..
[ELK Stack] elastic인지 fantastic인지 설치 좀 해봐라 elasticsearch 게시물들 하나같이 이해 안 되는 빡대가리가 만드는 elasticsearch 설치와 사용 일대기.  0. 기본 설정 윈도우 zip 파일로 설치했음.버전은 엘라스틱서치, 로그스태시, 키바나 전부 8.11.4로 설치함.알아서 깔고 C드라이브 바로 아래에 압축해제.  https://www.elastic.co/kr/downloads/elasticsearch Download ElasticsearchDownload Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic....www.elastic.co https:/..
[Mermaid] vscode에서 어케 쓰는데!!! 3단계로 아주 쉽게 알려줄게! 나왓쪄 설마 머메이드가 뭔 지도 모르고 들어왔을 거라고 생각하진 않는다. 맞다. 생각하는 그게 맞다. 겠어요? 머메이드 md문서에서 다이어그램을 만들어주는 라이브러리이다. 다이어그램에는 uml이나 시퀀스, 플로우차트 등이 있다. 공식문서는 아래를 참고. https://mermaid.js.org/ecosystem/integrations.html#editor-plugins Integrations | Mermaid mermaid.js.org VScode에서 mermaid 사용하기 정말 쉽다! HTML로 만들어서 웹에서 보는 방법 VScode 확장 Markdown Preview Mermaid Support 사용 내가 아는 방법은 위 두가지인데 둘 중에 2번째가 쉬우니 2번째로 설명하겠다. 1. vscode 확장..
[static] static? 그게 뭔데 씹덕아;; 나와쪄! 1학년 C 수업 듣고 있다. 몇 십년만에 hello world를 치니까 새로웠다.  내 주언어는 파이썬이고, 재작년 1학기 자료구조, 2학기 C프젝 들은 이후로 C는 오랜 만이다. 게다가 C를 독학한 거라 코드는 칠 줄은 알지만 정확히 어떻게 돌아가는지는 잘 모르는 상태라 흥미롭게 수업 듣고 있다.   물론 진도가 굉장히 느림. 1학년 친구들이 printf를 Printf로 쓰고, 실행 파일 찾으라니까 헤매고 있어서 교수님이 샤우팅하시는 거 몇 번 듣다가. 이렇게 된 이상 C언어를 다시 공부해봐야겠다! 하면서 혼자만의 여행을 떠났다.   for문 어케 쳤더라 하면서 구글링 한 번하고. hello world를 쳤다가, C언어에서 문자열 다루기가 힘들었던 기억이 나서 함수로 만드는 과정을 공부했다. ..

티스토리툴바