TrendPick100

다음 실시간 트렌드 검색기 | AI와 함께하는 크롤링 기초

다음 실시간 트랜드 검색기를 만들어보겠습니다. 한동안 사라졌던 실시간 검색어가 트렌드라는 이름으로 부활했는데요, 이를 파이썬으로 자동화해서 한눈에 파악해 보겠습니다. 블로그를 운영하시는 분들은 아래 내용을 보고 만들어서 이용해보세요. 다음 실시간 트렌드 검색기 만들기 여기서는 검색해서 결과를 보여주는 과정까지만 다룰거에요. 나머지는 각자 아이디어로 내용을 추가하시면 공부가 되실거에요 1. 다음(Daum) 사이트 접속 및 위치 파악 먼저 다음 사이트에 접속합니다. […]

본문 상단 광고 구역 (승인 후 자동 노출됩니다)

다음 실시간 트랜드 검색기를 만들어보겠습니다. 한동안 사라졌던 실시간 검색어가 트렌드라는 이름으로 부활했는데요, 이를 파이썬으로 자동화해서 한눈에 파악해 보겠습니다. 블로그를 운영하시는 분들은 아래 내용을 보고 만들어서 이용해보세요.

다음 실시간 트렌드 검색기 만들기

여기서는 검색해서 결과를 보여주는 과정까지만 다룰거에요. 나머지는 각자 아이디어로 내용을 추가하시면 공부가 되실거에요

1. 다음(Daum) 사이트 접속 및 위치 파악

먼저 다음 사이트에 접속합니다. 우측 상단을 보시면 ‘실시간’이라는 문구와 함께 키워드가 하나씩 변하는 것을 볼 수 있습니다. 여기서 아래쪽 화살표(∨)를 클릭하면 현재 1위부터 10위까지의 실시간 트렌드 키워드들이 한눈에 펼쳐집니다. 우리가 가져올 데이터가 바로 이것들입니다.

다음 실시간 트렌트 검색기 만들기

2. 개발자 도구(F12)로 ‘보물지도’ 찾기

웹사이트의 데이터가 어디에 숨어있는지 확인해야 합니다. 키보드의 F12를 눌러 개발자 도구를 켭니다.

  • 개발자 도구 상단의 화살표 아이콘(Select element)을 클릭합니다.
  • 화면상의 실시간 키워드 중 하나를 클릭합니다.
  • 그러면 오른쪽 코드 창에 해당 키워드가 포함된 HTML 태그가 강조 표시됩니다.
다음 실시간 트렌드 검색기 만들기
다음 실시간 트렌드 검색기 만들기

3. 키워드 위치 확인

검색어들은 보통 <a> 태그 안에 들어있습니다. 분석 결과, 다음의 실시간 트렌드는 특정 클래스 명이나 DA=RTL이라는 주소 형식을 가지고 있는 것을 알 수 있습니다. 이 부분을 잘 봐두어야 AI에게 정확한 명령을 내릴 수 있습니다. 그냥 위 그림을 캡처해서 ai에 넘기면 됩니다.

4. AI에게 코드 요청하기

이제 확인한 부분을 캡처해서 AI(제미나이 등)에게 업로드합니다. 그리고 다음과 같이 마법의 주문을 외쳐보세요.

“다음 실시간 트렌드 키워드를 수집하고 싶어. 위치는 첨부한 이미지에 있어. 파이썬으로 추출하는 코드를 짜줘.”

그러면 AI가 복잡한 웹 구조를 분석해서 우리에게 필요한 파이썬 코드를 생성해 줍니다.

다음 실시간 트렌드 코드 분석

AI가 준 코드를 그냥 쓰기보다 한 줄씩 이해해 보는 것이 중요합니다. 핵심 로직은 다음과 같습니다.

import requests
from bs4 import BeautifulSoup

url = "https://search.daum.net/search?w=tot&q="
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}

res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, "html.parser")

for a in soup.find_all("a", href=True):
    href = a["href"]
    if "DA=RTL" in href or "realtime" in href.lower():
        print(a.get_text(strip=True), "|", href[:80])

코드 한 줄씩 뜯어보기 (Line-by-Line)

🛠️ 도구 상자 준비하기 (Import)

  • import requests: 파이썬이 웹사이트에 접속할 수 있게 해주는 ‘브라우저’ 역할을 합니다.
  • from bs4 import BeautifulSoup: 웹사이트의 복잡한 HTML 코드에서 우리가 원하는 정보만 쏙쏙 뽑아주는 ‘핀셋’ 역할을 합니다.

🌐 접속 주소와 ‘변장 도구’ 설정

  • url = "...": 우리가 정보를 가져올 다음(Daum) 검색 페이지 주소입니다.
  • headers = {"User-Agent": "..."}: 웹사이트는 가끔 ‘봇’이 접속하는 것을 싫어합니다. 그래서 이 코드는 “나는 프로그램이 아니라 일반적인 크롬 브라우저야!”라고 변장하는 역할을 합니다. 이 부분이 없으면 차단당할 수 있으니 필수입니다!

📥 데이터 가져와서 요리할 준비하기

  • res = requests.get(url, headers=headers): 실제로 다음 사이트에 접속해서 페이지 정보를 가져옵니다.
  • soup = BeautifulSoup(res.text, "html.parser"): 가져온 복잡한 HTML 텍스트를 파이썬이 분석하기 쉬운 ‘수프(Soup)’ 형태로 변환합니다. 이제 우리는 여기서 원하는 데이터만 찾으면 됩니다.

🔍 보물찾기 (실시간 트렌드 필터링)

  • for a in soup.find_all("a", href=True): 페이지 안에 있는 모든 ‘링크(a 태그)’를 하나씩 검사합니다.
  • href = a["href"]: 각 링크가 어디로 연결되는지 주소를 확인합니다.
  • if "DA=RTL" in href or "realtime" in href.lower(): 여기가 가장 핵심적인 필터링 규칙입니다.
    • 다음의 실시간 트렌드 링크에는 보통 DA=RTL이라는 코드나 realtime이라는 단어가 포함되어 있습니다.
    • 수많은 링크 중 이 단어가 포함된 것만 골라낸다면, 그것이 바로 우리가 찾는 트렌드 검색어가 됩니다.

🖨️ 결과 출력

다음 실시간 트랜드 검색기 만들기
  • print(a.get_text(strip=True), "|", href[:80]): 찾은 검색어의 이름과 해당 검색어로 바로 갈 수 있는 링크(앞부분 80자)를 화면에 보여줍니다.
  • 위 이미지에 결과가 잘 나온 것처럼 보이지만 “순위 신규진입”, “순위 상승” 등과 같은 불필요한 내용이 포함되어 있습니다. 이런 텍스트는 삭제해 달라고 다시 요청하고, 뒤에 링크도 완성되지 않은 링크가 나왔습니다. 이 부분도 수정해야 됩니다.

마무리

오늘 포스팅에서는 AI를 활용해 아주 간단하게 다음 실시간 트렌드를 가져오는 법을 알아봤습니다.

코딩을 전혀 몰라도 AI에게 “이미지의 이 부분을 가져와 줘”라고 말하는 것만으로도 나만의 자동화 도구를 만들 수 있는 세상입니다. 여러분도 이 키워드들을 어디어 어떻게 사용할지를 고민해 보시고 직접 만들어 보시기 바랍니다.

궁금하신 내용은 댓글로 남겨주세요! 😊

본문 하단 광고 구역