본문 바로가기
반응형

파이썬크롤링4

데이터베이스(DB)/ mongoDB 데이터베이스 데이터 조작하기/ 파이썬 pymongo insert, find, update 활용하기/ 크롤링한 데이터 관리 이전 글에서는 네이버 영화 순위를 크롤링 하여 mongoDB 데이터베이스에 삽입하는 것을 해보았다면 이제는 mongoDB에 있는 데이터를 우리가 활용하는 것을 해보려고 한다. 그러면 우선, 네이버 영화 순위 홈페이지에서 영화 순위, 영화 제목, 영화 평점과 같이 필요한 정보들만 크롤링하여 데이터베이스에 넣는 작업까지 완료가 된 상태여야 한다. 이전 글을 참고해서 작업을 완료하고 해당 글을 읽자. ▼ 데이터베이스(DB)/ 파이썬으로 네이버 영화순위 크롤링한 데이터를 DB에 넣기/ 몽고DB에 데이터 삽입하기(insert) 데이터베이스(DB)/ 파이썬으로 네이버 영화순위 크롤링한 데이터를 DB에 넣기/ 몽고DB에 데이터 삽 크롤링한 데이터들을 데이터베이스에 수집해보기 이전에 우리가 '네이버 영화 순위 사이트'.. 2021. 6. 4.
데이터베이스(DB)/ 파이썬으로 네이버 영화순위 크롤링한 데이터를 DB에 넣기/ 몽고DB에 데이터 삽입하기(insert) 크롤링한 데이터들을 데이터베이스에 수집해보기 이전에 우리가 '네이버 영화 순위 사이트'를 크롤링을 해본 적이 있는데, 이번에는 크롤링을 해서 그냥 출력해보는 것이 아니라 가져온 데이터를 '데이터베이스'에 삽입하는 것을 해보자. 이전 '네이버 영화 순위 사이트 크롤링'을 해보지 않았던 분들은 아래를 참고한다. ▼ 네이버 영화 순위 크롤링, 웹스크래핑 해보기/ 파이썬 bs4 패키지 사용법/ 네이버 API 크롤링하기 파이썬(Python)/ 네이버 영화 순위 크롤링, 웹스크래핑 해보기/ 파이썬 bs4 패키지 사용법/ 네이버 AP 한 번쯤은 들어봤을 법한 '크롤링'에 대해서 알아봄과 동시에 직접 해보는 것을 이번 글에서 다뤄보겠다. 크롤링(Crawling)이란? 네이버에 크롤링을 검색하면 IT용어사전에 나와 있는.. 2021. 6. 2.
데이터베이스(DB)/ 파이썬(Python)으로 몽고DB 조작하기/ pymongo 라이브러리로 데이터베이스 조작하기/ Robo 3T, mongoDB, 파이참, CRUD 데이터베이스 mongoDB(몽고DB)를 파이썬으로 조작하기 파이썬으로 몽고DB를 다루기 위해서는 'pymongo' 라는 파이썬 패키지를 설치해주어야 한다. 만약 파이썬 코드를 작성하는 IDE '파이참(Pycharm)'이 안 깔려있다면 ▼ 파이참(PyCharm) 쉬운 설치/ Pycharm IDE 다운로드/파이참(PyCharm)이란?/ IDE 추천 파이참(PyCharm) 쉬운 설치/ Pycharm IDE 다운로드/파이참(PyCharm)이란?/ IDE 추천 파이참(PyCharm)이란? 파이참(PyCharm)은 이전에 다뤘던 Visusal Studio Code와 유사하게 개발자가 소프트웨어를 쉡게 개발할 수 있도록 개발환경을 제공하는 코드 편집기이다. 그러나 파이참은 IDE(Integrate parkjh7764.. 2021. 6. 1.
파이썬(Python)/ 네이버 영화 순위 크롤링, 웹스크래핑 해보기/ 파이썬 bs4 패키지 사용법/ 네이버 API 크롤링하기 한 번쯤은 들어봤을 법한 '크롤링'에 대해서 알아봄과 동시에 직접 해보는 것을 이번 글에서 다뤄보겠다. 크롤링(Crawling)이란? 네이버에 크롤링을 검색하면 IT용어사전에 나와 있는 정의이다. 또 다른 정의로는 아래에 나와 있다. 크롤링이란 '소프트웨어 따위가 웹을 돌아다니며 유용한 정보를 찾아 특정 데이터베이스로 수집해 오는 작업' 크롤링은 어디에서 사용되는 것일까? 웹 크롤링은 HTML 기반의 태그들로 되어 있는 것들을 가져올 수가 있다. 웹 사이트에 있는 이미지, 글, 문서 등이 있는데 가져올 수 있는 종류와 양이 많다. 자동으로 방대한 데이터를 수집할 수 있는 크롤링의 장점을 활용한다면 요즘 인기를 얻고 있는 AI 챗봇이나, 빅데이터 관련 분야에 활용을 할 수 있다. 이외에도 주식, 암호화폐 .. 2021. 5. 30.
반응형