파이썬(Python) 2학년 스크래핑의 구조 또는 소프트웨어의 품격
땅끝
2025-01-04 07:51
154
0
본문
파이썬(Python) 2학년 스크래핑의 구조
도서명 : 파이썬(Python) 2학년 스크래핑의 구조
저자/출판사 : 모리 요시나오, 성안당
쪽수 : 192쪽
출판일 : 2021-11-17
ISBN : 9788931556896
정가 : 17000
들어가며
이 책의 예제 테스트 환경 며
이 책의 대상 독자와 2학년 시리즈에 대해
이 책을 보는 법
예제 파일과 회원 특전 PDF의 다운로드에 대해
제1장 파이썬으로 데이터를 다운로드
LESSON 01 스크래핑이 뭘까?
크롤링과 스크래핑
주의해야 할 점도 있다
robots.txt란?
LESSON 02 파이썬을 설치해 보자
윈도에 설치하는 방법
macOS에 설치하는 방법
LESSON 03 requests로 액세스해 보자
라이브러리 설치 방법
HTML 파일을 읽어 들이는 프로그램
IDLE을 시작하자
프로그램을 만들어 보자
텍스트 파일에 쓰기: open, close
텍스트 파일에 쓰기: with문
제2장 HTML을 해석해 보자
LESSON 04 HTML을 해석해 보자
Beautiful Soup 설치하기
Beautiful Soup로 해석하기
태그를 찾아 표시하기
모든 태그를 찾아 표시하기
id나 class로 검색 범위 좁히기
LESSON 05 최신 뉴스 기사 목록을 구해 보자
디벨로퍼 툴을 사용해 범위를 좁히자
LESSON 06 링크 목록을 파일로 출력해 보자
모든 링크 태그의 href 속성 표시하기
모든 링크 태그의 href 속성을 절대 URL로 표시하기
링크 목록 자동 작성 프로그램
LESSON 07 이미지를 한꺼번에 다운로드해 보자
이미지 파일을 읽어 들여 저장하기
다운로드용 폴더를 만들어 저장하기
모든 img 태그의 이미지 파일 URL을 표시한다
페이지 안 이미지를 한꺼번에 다운로드하는 프로그램
제3장 표 데이터를 읽고 쓰자
LESSON 08 pandas를 사용해 보자
pandas 설치하기
표 데이터란?
CSV 파일 읽어 들이기
열, 행 데이터 표시하기
열, 행 데이터 추가하기
열, 행 데이터 삭제하기
LESSON 09 다양한 데이터 가공
필요한 정보 추출하기
데이터 집계하기
데이터 정렬하기
행과 열 바꾸기
CSV 파일로 출력하기
LESSON 10 그래프로 표시해 보자
matplotlib 설치하기
그래프로 표시하기
다양한 종류의 그래프 표시하기
개별 데이터를 그래프로 표시하기
막대 그래프를 이미지 파일로 출력하기
LESSON 11 엑셀 파일을 읽고 써 보자
openpyxl 설치하기
엑셀 파일로 출력하기
엑셀 파일 읽어 들이기
제4장 오픈 데이터를 분석해 보자
LESSON 12 오픈 데이터란?
오픈 데이터는 보물섬
LESSON 13 우체국: 우편번호 데이터
CSV 파일 읽어 들이기
데이터 추출하기
LESSON 14 e-나라지표: 국정모니터링지표
CSV 파일 읽어 들이기
데이터를 그래프로 표시하기
LESSON 15 기상자료개방포털: 기상청 날씨 데이터 서비스
CSV 파일 읽어 들이기
데이터를 그래프로 표시하기
LESSON 16 공공데이터포털: 지방자치단체 데이터
CSV 파일(소방서) 읽어 들이기
folium 설치하기
소방서를 지도에 표시하기
CSV 파일(음식점) 읽어 들이기
가게를 지도에 표시하기
제5장 웹 API로 데이터를 수집하자
LESSON 17 웹 API란?
다른 컴퓨터의 기능 이용하기
LESSON 18 OpenWeatherMap이란?
OpenWeatherMap 사이트 이용 순서
OpenWeatherMap 이용하기
LESSON 19 현재 날씨를 조사하자
도시명을 지정해 날씨 알아보기
JSON이란?
JSON 데이터 형식
JSON 데이터를 읽어 들이는 방법
우편번호를 지정해 날씨 알아보기
LESSON 20 오늘부터 5일 동안(3시간 간격)의 날씨 알아보기
5일 동안의 날씨를 구해 보자
UTC(협정 세계시)를 KST(한국 표준시)로 변환
5일 동안의 기온을 그래프로 표시해 보자
한 걸음 더
찾아보기
소프트웨어의 품격
도서명 : 소프트웨어의 품격
저자/출판사 : 마르코 파엘라, 에이콘출판
쪽수 : 404쪽
출판일 : 2021-09-24
ISBN : 9791161755618
정가 : 35000
1부. 먼저 알아야 할 것들
1장. 소프트웨어 품질과 앞으로 풀어야 할 문제
1.1 소프트웨어 품질
1.1.1 내적 품질과 외적 품질
1.1.2 기능적 품질과 비기능적 품질
1.2 외적 소프트웨어 품질에 가까운 기준들
1.2.1 정확성
1.2.2 견고성
1.2.3 사용성
1.2.4 효율성
1.3 내적 소프트웨어 품질에 가까운 기준들
1.3.1 가독성
1.3.3 테스트 용이성
1.3.4 유지보수성
1.4 소프트웨어 품질 기준 사이의 상호작용
1.5 특수한 품질
1.5.1 스레드 안전성
1.5.2 간결성
1.6 앞으로 살펴볼 예제: 수조 시스템
1.6.1 API
1.6.2 활용 사례
1.7 데이터 모델과 데이터 표현
1.7.1 물의 양 저장하기
1.7.2 연결 상태 저장하기
1.8 Hello containers! [Novice]
1.8.1 필드와 생성자
1.8.2 getAmount와 addWater 메서드
1.8.3 connectTo 메서드
요약
더 읽을거리
2장. 레퍼런스 구현
2.1 레퍼런스 코드 [Reference]
2.1.1 메모리 레이아웃 다이어그램
2.1.2 메서드
2.2 메모리 요구 사항
2.2.1 Reference의 메모리 요구량
2.3 시간 복잡도
2.3.1 Reference의 시간 복잡도
2.4 배운 내용 연습하기
요약
퀴즈와 연습 문제 정답
더 읽을거리
2부. 소프트웨어 품질
3장. 질주 본능: 시간 효율성
3.1 상수 시간에 물 넣기 [Speed1]
3.1.1 시간 복잡도
3.2 상수 시간에 연결 추가하기 [Speed2]
3.2.1 순환 리스트로 그룹 표현하기
3.3.2 갱신 지연
3.3 최적의 균형: 합집합 찾기 알고리즘 [Speed3]
3.3.1 그룹 대표 찾기
3.3.2 수조의 트리 연결하기
3.3.3 최악의 경우의 시간 복잡도
3.3.4 분할상환 시간 복잡도
3.3.5 크기가 변하는 배열을 이용할 경우의 분할상환 분석
3.4 구현 방식 비교하기
3.4.1 실험
3.4.2 이론 대 실제
3.5 전혀 새로운 문제에 적용해보기
3.5.1 빠른 삽입
3.5.2 빠른 조회
3.5.3 모든 것을 빠르게
3.6 실제 사례
3.7 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
4장. 소중한 메모리: 공간 효율성
4.1 검소한 버전 [Memory1]
4.1.1 공간 및 시간 복잡도
4.2 일반 배열 [Memory2]
4.2.1 공간 및 시간 복잡도
4.3 객체여, 안녕 [Memory3]
4.3.1 객체를 사용하지 않는 API
4.3.2 필드와 getAmount 메서드
4.3.3 팩토리 메서드로 수조 생성하기
4.3.4 ID로 수조 연결하기
4.3.5 공간 및 시간 복잡도
4.4 블랙홀 [Memory4]
4.4.1 공간 및 시간 복잡도
4.5 공간 - 시간 기회비용
4.6 전혀 새로운 문제에 적용해보기
4.6.1 중복이 적을 때
4.6.2 중복이 많을 때
4.7 실제 사례
4.8 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
5장. 모니터링을 이용한 신뢰성 향상
5.1 계약에 의한 설계
5.1.1 사전 조건과 사후 조건
5.1.2 불변 조건
5.1.3 정확성과 견고성
5.1.4 계약 검사
5.1.5 더 큰 그림
5.2 계약을 바탕으로 수조 설계하기
5.3 계약을 검사하는 수조 [Contracts]
5.3.1 addWater의 계약 검사하기
5.3.2 connectTo의 계약 검사하기
5.4 불변 조건을 검사하는 수조 [Invariants]
5.4.1 connectTo에서 불변 조건 검사하기
5.4.2 addWater 불변 조건 검사
5.5 전혀 새로운 문제에 적용해보기
5.5.1 계약
5.5.2 기본 구현
5.5.3 계약 검사
5.5.4 불변 조건 검사
5.6 실제 사례
5.7 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
6장. 나를 속여봐: 테스트를 이용한 신뢰성 향상
6.1 테스트의 기본적 개념
6.1.1 테스트 커버리지
6.1.2 테스트와 계약에 의한 설계
6.1.3 JUnit
6.2 수조 테스트하기 [UnitTests]
6.2.1 테스트 초기화하기
6.2.2 addWater 테스트하기
6.2.3 connectTo 테스트하기
6.2.4 테스트 수행
6.2.5 커버리지 측정
6.3 테스트 용이성 [Testable]
6.3.1 제어 가능성
6.3.2 관측 가능성
6.3.3 고립하기: 의존성 제공
6.4 전혀 새로운 문제에 적용해보기
6.4.1 테스트 용이성 개선
6.4.2 테스트 슈트
6.5 실제 사례
6.6 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
7장. 큰소리로 코딩하자: 가독성
7.1 가독성을 바라보는 관점
7.1.1 기업 코딩 스타일 가이드
7.1.2 가독성의 재료
7.2 구조적 가독성 특징
7.2.1 제어 흐름 구문
7.2.2 표현식과 지역 변수
7.3 외부적 가독성 특징
7.3.1 주석
7.3.2 이름 짓기
7.3.3 공백과 들여쓰기
7.4 가독성 높은 수조 [Readable]
7.4.1 자바독을 이용한 클래스 헤더 문서화
7.4.2 connectTo 정리하기
7.4.3 addWater 정리하기
7.5 가독성에 대한 마지막 고찰
7.6 전혀 새로운 문제에 적용해보기
7.7 실제 사례
7.8 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
8장. 스레드 안전성
8.1 스레드 안전성 달성의 어려움
8.1.1 동시성 레벨
8.1.2 수조 시스템의 동시성 정책
8.2 교착 상태 다루기
8.2.1 원자적 락 시퀀스
8.2.2 순서 있는 락 시퀀스
8.2.3 숨은 경합 조건
8.3 스레드 안전한 수조 [ThreadSafe]
8.3.1 connectTo 동기화
8.3.2 addWater와 getAmount 동기화
8.4 불변성 [Immutable]
8.4.1 API
8.4.2 구현
8.5 전혀 새로운 문제에 적용해보기
8.6 실제 사례
8.7 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
9장. 재활용합시다: 재사용성
9.1 경계 찾기
9.2 일반적인 프레임워크
9.2.1 속성 관리 API
9.2.2 가변 컬렉터
9.2.3 함수형 인터페이스를 컨테이너 속성에 적용하기
9.3 제네릭 컨테이너 구현
9.4 일반적인 고려사항
9.5 수조의 기능 재현하기 [Generic]
9.5.1 수정된 시나리오
9.5.2 구체적인 속성 설계
9.5.3 구체적인 수조 클래스 정의
9.6 소셜 네트워크 포스트
9.7 전혀 새로운 문제에 적용해보기
9.7.1 파라미터화된 함수를 표현하는 인터페이스
9.7.2 통신 방식 개선
9.8 실제 사례
9.9 배운 내용 적용해보기
요약
퀴즈와 연습문제 해답
더 읽을거리
부록 A. 코드 골프: 간결성
부록 B. 궁극의 수조 클래스
댓글목록0