국문과 유목민

Python String 파이썬의 String관련 함수들은 자연어 전처리를 수행함에 있어서 가장 기본적인 사항들이라고 생각합니다. 그렇기에 Python String 관련 함수들을 간단하게 정리해두고자 합니다. 대소문자의 변환 함수 설명 upper() 모두 대문자로 변환 lower() 모두 소문자로 변환 capitalize() 문자열의 첫 문자를 대문자로 변환 title() 문자열에서 각 단어의 첫 문자를 대문자로 변환 swapcase() 대문자와 소문자를 서로 변환 검색 함수 설명 count(‘hi’) 문자열에서 hi가 출현한 빈도 리턴 find(‘hi’) 문자열에서 hi가 처음으로 출현한 위치 리턴,S존재하지 않는 경우 -1 find(‘hi’,S3) 문자열의 index에서 3번부터 hi가 출현한 위치 ..

부스트캠프_AITech 8주차에 진행되었던 과제를 풀고 Solution을 보면서, Pythonic하게 만들어진 코드를 보고서 기억해두면 좋을 것 같아서 정리하고자 한다. 해당 과제의 문제를 올리지는 않고, 주어진 문제에 대해서 어떻게 코드를 간결하게 짰는지에 대해서만 정리하고자 하며, 추가적으로 새로 알게 된 좋은 함수들을 정리하고자 한다. 기본과제3_Subword_level_Language_Model Subword_level_Language_Model을 만들기 위해서 BPE Vocabulary를 만드는 함수를 구현하는 문제였다. 해당 문제에서 chain함수와 Counter 객체를 활용해 연산에 필요한 변수를 간결하게 정의할 수 있었다. from itertools import chain from coll..

Plotly Interactive Visualization은 정적 시각화가 가지고 있는 단점을 해결하기 위해서 사용하는 방법으로, 다양한 라이브러리가 존재하지만, 그 중 가장 많이 사용되는 plotly에 대해서 다루고자 한다. Plotly는 python 뿐만 아니라 R, JS에서도 사용가능하며 문서화가 잘 되어 있어 커스텀하기에 좋다. 통계 시각화 뿐만 아니라 지리, 3D, 금융 시각화와 같은 다양한 기능도 제공한다. Plotly Express는 plotly를 Seaborn과 유사하게 만들어서 사용을 쉬운 사용을 가능하게 한 라이브러리이다. 하지만 커스텀적인 부분이 부족하다는 것이 단점이라고 할 수 있다. 하지만 앞서 말했듯이 사용법이 쉽기 때문에 간단하게 Interactive를 구현할 수 있고, Inp..

개발자들은 파이썬, 자바, C등 어떤 언어를 사용하든 Linux를 마주치게 될 수밖에 없고 그만큼 많이 사용하게 된다. 하지만 꾸준히 사용하지 않는 경우가 생기기 때문에 자주 까먹게 되고, 그래서 매번 같은 내용을 검색하게 된다(일단 내가 그렇다). 따라서 Linux Shell Command와 Vi Editor Command에 관해 간략하게 정리해놓으려고 한다. Shell Commad man: manual, 기본 쉘 커맨드, 매뉴얼 확인 mkdir: make directory, 폴더를 만드는 명령어 ls: List Segments, 현재 접근한 폴더의 폴더나 파일 확인 -a: .으로 시작하는 파일, 폴더 포함 전체 출력 -l: 퍼미션, 소유자, 만든 날짜, 용량 등의 정보 출력 -h: 용량을 사람이 읽기..

Python Visualization libraries 다음 코드를 주피터 노트북에서 실행하면, 아래 라이브러리들을 모두 설치할 수 있다. # %pip install --upgrade pip # %pip install missingno squarify pywaffle matplotlib_venn import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import seaborn as sns Missing no 결측치를 체크하는 시각화 라이브러리이다. 빠르게 결측치의 분포를 확인하고 싶을 때 사용가능하다. 정렬을 사용해 Null 정보에 대한 분포 확인 가능 row당 결측치의 개수가 다르기 때문에 다음과 같이 정렬을 진행할 수 있..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. Matplotlib (polar, pie) Polar Coordinate 극좌표계를 사용하는 시각, 거리(R), 각(Theta)를 사용한 plot이다. 회전이나 주기성 등을 표현하기에 적합, 극좌표계를 사용해 표현되는 그래프는 scatter이기 때문에 line, bar 등을 사용할 수 있다. - Polar Coordinate 사용법 projection='ploar', polar=True: 서브플롯을 만들 때 활용해 사용할 수 있다. set_rmax() / set_rmin..