전체 글399

• 

  [Python] 29. [Scraping] KoNLPy 자연어 처리 패키지, JPype 설치, 명사 분리 추출 후, 단어 사용 빈도 계산하기 [01] KoNLPy 자연어 처리 패키지 - 공식 페이지: http://konlpy.org/ko/latest/ - NLP (Natural Language Processing, 자연어처리)는 텍스트에서 의미있는 정보를 분석, 추출하고 이해하는 일련의 기술집합입니다. . http://konlpy.org/ko/v0.4.3/start/ KoNLPy: 파이썬 한국어 NLP — KoNLPy 0.6.0 documentation KoNLPy: 파이썬 한국어 NLP KoNLPy(“코엔엘파이”라고 읽습니다)는 한국어 정보처리를 위한 파이썬 패키지입니다. 설치법은 이 곳을 참고해주세요. NLP를 처음 시작하시는 분들은 시작하기 에서 가 konlpy.org NLP란 무엇인가요? — KoNLPy 0.4.3 documentati.. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 28. [Scraping] 한겨레 신문 뉴스, Naver 뉴스, 동아 일보 뉴스 검색 drawling [01] 한겨례 신문 뉴스 목록 클로링 - http://www.hani.co.kr - 정렬: 최신순, 범위: 뉴스, 검색어: 대통령 http://search.hani.co.kr/Search?command=query&keyword=%EB%8C%80%ED%86%B5%EB%A0%B9&sort=d&period=all&media=news - 1 페이지: http://search.hani.co.kr/Search?command=query&keyword=%EB%8C%80%ED%86%B5%EB%A0%B9&media=news&sort=d&period=all&datefrom=2000.01.01&dateto=2017.04.25&pageseq=0 - 2 페이지: http://search.hani.co.kr/Search?comm.. 빅데이터 프로그래밍/Python 2017. 8. 16.

• 

  [Python] 27. [Scraping] Web Scraping 기초, 한글 처리, BeautifulSoup 설치, 기본 트리 운행, 정규 표현식 이용 [01] Web Scraper 1. Webpage 소스읽어오기 - http://www.pythonscraping.com/exercises/exercise1.html [실행 화면] b'\n\n\npip install beautifulsoup4 Collecting beautifulsoup4 Downloading beautifulsoup4-4.5.3-py3-none-any.whl (85kB) 100% ■■■■■■■■■■■■■■■■■■■■ 92kB 347kB/s Installing collected packages: beautifulsoup4 Successfully installed beautifulsoup4-4.5.3 2) Eclipse 재시작을 진행하지 않아도 자동 인식, 인식 안될시 Eclipse 재시작 .. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 26. [Scraping] 재귀 호출 함수, Lamda 함수 이용 , random 난수 발생, LX 01. 재귀 호출 함수 - 자기자신을 계속 호출하는 로직으로 일반적으로 1000회 이상 반복하면 에러가 발생함으로 재귀호출을 중지하는 제어문이 필용함. PyDev setting project name: crawler 1. 모든 처리를하고 재귀함수를 호출하는 경우 [실행 화면] recursionLevel: 5 recursionLevel: 4 recursionLevel: 3 recursionLevel: 2 recursionLevel: 1 recursionLevel: 0 ▷ /basic/recursion1.py ------------------------------------------------------------------------------------- # -*- coding: utf-8 -*- de.. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 25. Google Gmail SMTP 서버를 이용한 Mail 전송 01. Google Gmail SMTP 서버를 이용한 Mail 전송1. Google에 로그인 합니다. 2. 로그인 후https://www.google.com/settings/security/lesssecureapps 에 접속하여 '보안 수준이 낮은 앱의 액세스'를 '사용'으로 선택합니다. 2. Script- 이미지 사용은 절대 경로 사용 ▷ mail.mail.py ------------------------------------------------------------------------------------- # -*- coding: utf-8 -*- import smtplib from email.mime.multipart import MIMEMultipart from email.mime.text .. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 24. Regular Expression(정규 표현식) 기본 문법 실습 2, Pyperclip library, cx_freeze로 EXE 만들기 01. 정규 표현식 기본 문법 실습 2 1. 와일드카드 문자, 줄바꿈 문자의 처리- .: 줄바꿈을 제외한 하나의 문자와 대응- *: 모든 문자와 대응, 앞에 나오는 문자가 없거나 한번 이상 대응- .*: 모든 문자와 대응, 앞에 나오는 문자가 없거나 한번 이상 대응, 가장 긴 문자열 최대 일치, 줄바꿈을 제외한 모든문자- .*?: 모든 문자와 대응, 앞에 나오는 문자가 없거나 한번 이상 대응, 가장 짧은 문자열 최소 일치- (?!:).)*: ':'을 제외한 모든 문자- re.DOTALL, r.S: 소스 문자열에 줄바꿈이 명시되어 있으면 출력 결과도 여러줄에 출력, new line 대응- re.IGNORECASE, r.I: 대소문자 무시- re.VERBOSE: 정규 표현식안에 주석을 명시 할 수 있음 - .. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 23. Regular Expression(정규 표현식) 기본 문법 실습 1 01. 정규 표현식 1. 정규식을 사용하지 않는 경우의 전화번호 검증 [실행 화면] 111-1111-1111 는 휴대폰 번호입니다. True 02-1111-1111 는 휴대폰 번호입니다. False ---------------------------------- 전화 번호 발견: 111-1111-1111 전화 번호 발견: 222-2222-2222 처리를 종료했습니다. ▷ /reexam/re01.py ------------------------------------------------------------------------------------- # -*- coding: utf-8 -*- def isPhoneNumber(text): if len(text) != 13: # 111-1111-1111 ret.. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 22. [DBMS] Sqlite3 + Python 연동 실습, 140자 일기장 만들기 01. Sqlite3 + Python 연동 실습1. SQL ▷ /sqlite3/diary140.sql ------------------------------------------------------------------------------------- CREATE TABLE diary ( diary_id INTEGER PRIMARY KEY AUTOINCREMENT, createdate DATETIME, note CHAR(140) ); CREATE TABLE diary_img ( img_id INTEGER PRIMARY KEY AUTOINCREMENT, img BLOB, diary_id INTEGER, FOREIGN KEY(diary_id) REFERENCES diary(diary_id) ); SELE.. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 21. [DBMS] Sqlite3 + Python 연동 실습 [01] Sqlite3 + Python 연동 실습1. database 생성 방법1) sqlite3.exe test.db를 통한 생성2) Python 소스를 통한 생성 2. Python 소스를 이용한 데이터베이스 파일과 테이블 자동 생성- Python 소스가 있는 폴더에 생성됩니다. ▷ /sqlite3/create_table.py ------------------------------------------------------------------------------------- # -*- coding: utf-8 -*- import sqlite3 # python.db 파일이 존재하지 않아도 정상 실행됨. conn = sqlite3.connect('python.db') cursor = conn.curso.. 빅데이터 프로그래밍/Python 2017. 8. 5.

• 

  [Python] 20. [DBMS] 데이터베이스 개론, SQLite3 사용 01. 데이터베이스시스템 개론(DBMS) - 우리가 일상 업무나 생활에서 발생하는 데이터를 컴퓨터 기반의 데이터 저장소를 만들고 저장, 조회, 수정, 삭제, 통계를 제공하는 컴퓨터 시스템(SW). 1. 데이터를 저장하기위한 테이블(엔티티)의 구조 - 데이터베이스의 구성요소이며 하나 이상이 존재 할 수 있습니다. - 2차원 배열의 표 형태를 가지고 있습니다. - Record는 Column의 집합입니다. - Table(entity)은 Record의 집합입니다. - Database는 계정과 테이블의 집합입니다. - 엑셀과 같은 구조임으로 엑셀을 사용하는 기업은 쉽게 정보화를 추진할 수 있습니다. - 하나의 Excel 파일은 하나의 Database 파일과 대응합니다. 엑셀파일안의 sheet는 하나의 table과.. 빅데이터 프로그래밍/Python 2017. 8. 2.

• 

  [Python] 19. [GUI] wxPython 그래픽 사용자 인터페이스, 다양한 Widget, Menu 01. 다양한 Widget1 wx.MenuBar, wx.Menu, wx.MenuItem 위젯을 통한 메뉴의 출력- wx.MenuBar: 화면 상/하단위 메뉴바- wx.Menu: 메뉴바에 붙이는 메뉴 그룹 한 열- wx.MenuItem: 메뉴열에 붙이는 하나의 메뉴 항목- wx.MenuBar(): 메뉴들의 구성- fileNewMenu = fileMenu.Append(wx.ID_ANY, "새 파일"): 메뉴 항목 추가- fileMenu.AppendSeparator(): 메뉴 구분자- self.menuBar.Append(fileMenu, "&File"): 메뉴바에 메뉴 붙이기 - self.Bind(wx.EVT_MENU, self.OnNew, fileNewMenu): 이벤트 등록 ▷ /wxexam/Menu.py.. 빅데이터 프로그래밍/Python 2017. 8. 2.

• 

  [Python] 18. [GUI] wxPython 그래픽 사용자 인터페이스, 기본 Widget, Sizer 01. wxPython 그래픽 사용자 인터페이스- https://www.wxwidgets.org- Python에 내장된 Tkinter UI toolkit에 비하여 더욱 향상된 GUI 환경 지원- 1992년부터 개발되어온 wxWidget을 파이썬 개발 환경에서 사용가능 하도록 변경한 버전으로 C#, Perl, Java도 지원함. 1. pip를 이용한 라이브러리 설치- 관련 library를 다운로드 받아 자동으로 설치해줌.- 공식 지원은 Python 2.7을 지원하나 개발 버전으로 Python 3.0을 지원하는 피닉스(Phoenix)라고하는 프로젝트를 제공함.1) https://wxpython.org/Phoenix/snapshot-builds/ 접속- whl: wheel 파일, pip를 이용하여 파이썬 설치.. 빅데이터 프로그래밍/Python 2017. 8. 2.