.
데이터 수집과 활용
이번 주는 HTML, Selenium, BeautifulSoup 등 다양한 데이터 수집 기법을 배웠어요.
HTML은 웹페이지를 구성하는 기본 언어예요. 쉽게 말하면 웹사이트의 뼈대를 만드는 거죠. <html>, <head>, <body> 같은 태그들로 구조를 잡고, <h1>부터 <h6>까지는 제목 태그, <p>는 문단 태그예요.
그리고 CSS는 HTML로 만든 뼈대에 옷을 입히는 거라고 생각하면 돼요. 색상, 크기, 배치 같은 디자인 요소를 담당하죠. 예를 들어 color="gold"라고 쓰면 글자 색이 금색이 되는 식이에요.
크롤링 수업부터 파이썬 난이도가 확 올라갔어요. 지금까지는 기초 문법 위주였다면, 이제는 웹사이트에서 직접 데이터를 긁어오고 정제하는 실무적인 내용이라서 체감 난이도가 달랐어요.
어렵긴 했는데, 실제로 사용할 수 있는 기술을 배운다는 게 느껴져서 좋았어요.
네이버, 다음에서 영화 데이터 수집하기
실습으로 네이버와 다음 사이트에서 영화 데이터를 크롤링하는 프로젝트를 했어요. 영화 제목, 평점, 개봉일 같은 정보들을 가져오는 건데, 신기했던 건 영화 포스터 이미지까지 자동으로 저장되더라고요!
크롤링 수업부터 파이썬 난이도가 확 올라갔어요. 지금까지는 기초 문법 위주였다면, 이제는 웹사이트에서 직접 데이터를 긁어오고 정제하는 실무적인 내용이라서 체감 난이도가 달랐어요. HTML 구조를 이해해야 원하는 데이터가 어디 있는지 찾을 수 있거든요.
새로 배운 문법들 정리
with 문은 파일을 다룰 때 자주 쓰이는데, 파일을 열고 작업이 끝나면 자동으로 닫아줘요. 이렇게 쓰면 파일을 깜빡하고 안 닫는 실수를 방지할 수 있어요.
with open("./images-daum/movie{0}.jpg".format(idx), "wb") as f:
f.write(img_res.content)
enumerate() 함수는 반복문 돌릴 때 인덱스 번호를 자동으로 붙여주는 거예요. 처음엔 이게 왜 필요한지 헷갈렸는데, 이미지 파일 이름을 movie1.jpg, movie2.jpg 이런 식으로 순서대로 저장할 때 진짜 유용하더라고요.
for idx, li in enumerate(list, start=0):
# idx는 0, 1, 2... 이런 식으로 자동 증가처음엔 이런 문법들이 왜 필요한지, 어떻게 쓰는 건지 헷갈렸는데 실습하면서 계속 써보니까 이해가 됐어요.
어렵긴 했는데, 실제로 사용할 수 있는 기술을 배운다는 게 느껴져서 좋았어요.
1차 프로젝트 준비
10월에 있을 1차 프로젝트를 위해 주제를 탐색하는 시간을 가졌어요.
처음엔 어떤 주제가 적합할지 감이 안 왔어요. 전윤범 교수님께 상담을 받았는데, 제가 관심 있는 분야에 맞는 대안들과 방향성을 제시해주셔서 많이 도움됐어요. 특히 요즘 텍스트 분석이 실무에서 많이 활용되고 있다는 트렌드도 알려주셨는데, 학생 입장에서 도메인 지식이 부족했던 저한테는 실무자의 조언을 직접 들을 수 있어서 정말 귀한 시간이었어요.
논문 중에서는 가천대 문예준, 김남형 교수님의 'LLM 기반 뉴스 제목 감성 분석을 통한 투자 포트폴리오 구성' 연구가 인상 깊었어요. 뉴스 감성 분석으로 실제 투자 전략을 만들고 성과까지 측정한 실용적인 연구였거든요. 찾아보고 읽어보시는 거 추천드립니다~
프로젝트를 준비하면서 관련 논문을 읽어보는 게 정말 중요하다는 걸 깨달았어요.
저는 퀀트 직무에 관심이 있어서, 정량적으로 증명하고 피처를 찾아내는 프로젝트를 하고 싶었거든요. 선행연구들을 보면서 어떤 방법론을 사용했는지, 데이터를 어떻게 활용했는지 배울 수 있었어요.
논문 읽는 게 처음엔 부담됐는데, 읽다 보니 생각보다 재미있더라고요.
'활동' 카테고리의 다른 글
| 유비온 빅데이터를 활용한 디지털금융 전문가 과정 3기_(7) (0) | 2025.09.30 |
|---|---|
| 유비온 빅데이터를 활용한 디지털금융 전문가 과정 3기_(6) (0) | 2025.09.29 |
| 유비온 빅데이터를 활용한 디지털금융 전문가 과정 3기_(4) (0) | 2025.09.03 |
| 유비온 빅데이터를 활용한 디지털금융 전문가 과정 3기_(3) (0) | 2025.09.03 |
| 유비온 빅데이터를 활용한 디지털금융 전문가 과정 3기_(2) (0) | 2025.09.03 |