반응형

안녕하세요. 학우 여러분

 

벌써 중간지점까지 왔습니다. 

즐겁게 공부하고 계신가요?

 

야학이 시작될 때는 공개되지 않았던 수업들이 

모두 완성 & 공개되었습니다. 

 

이번에 공개된 수업은 아래와 같습니다.

 

TensorFlow.js 기본
수업 : https://opentutorials.org/course/4628
진도표 : https://yah.ac/tensorflowjs 

 

TensorFlow로 하는 이미지 분류

수업 : https://opentutorials.org/module/5268
진도표 : https://yah.ac/tensorflow102 

 

TensorFlow.js 분류 

수업 : https://opentutorials.org/course/4642  

 

종강이 얼마 남지 않았습니다.

정상에서 모두 만나요. ^^

 

혹시 아직 시작하지 못하셨나요? 

시작하는 순간

가장 혁명적이고, 

가장 가성비 높은 지식을 만나게 됩니다

 

완주하지 못할 것이라는 걱정은 버리고 

시작만 하자는 마음으로 가볍게 몸을 움직여보시면 어떨까요?

 

응원합니다.

https://ml.yah.ac 에서 기다리겠습니다. 

반응형
반응형

생활코딩 - 머신러닝야학

 

서말 : seomal.com/map/1

 

Seomal - 서말

 

seomal.com

라이브 : youtu.be/HUVG4ZnwN5k

머신러닝야학?

머신러닝야학
혼자서 외롭게 머신러닝을 공부하고 있는 분들을
지원하고, 응원하기 위해서 만들어진
작은 학교입니다.

지금부터 우리는 10일 동안
동영상과 전자책으로 제작된 머신러닝 수업을 공부하면서
머신러닝의 흥미진진한 세계를 탐험할 것입니다.

그 과정에서
현업에서 활동 중인 엔지니어들의
기술지원을 받을 수 있습니다.

같은 목표를 향해서 달려가는
동료를 만날 수도 있습니다.

이 여행이 끝나고 나면
머신러닝이 무엇인지 알게 될 것이고,
머신러닝으로 하고 싶은 것이 생길 것입니다.
다시 말해서 꿈을 갖게 될 것입니다.

우리 학교의 목표는 꿈을 먼저 갖는 것입니다.
꿈이 있다면 능력은 차차로 갖춰지게 되어 있습니다.
꿈을 꿉시다.

 

일정

10일간 온라인으로 진행됩니다. 주말에는 쉽니다.

  • 2021.1.4 : 개강
  • 2021.1.15 : 종강
  • 2021.1.19 : 수료식

 

반응형
반응형
반응형
반응형
머신러닝 단기집중과정

텐서플로우 API 사용

Google의 실용적인 머신러닝 속성 입문 과정

https://developers.google.com/machine-learning/crash-course/


필수사항

머신러닝 단기집중과정에는 머신러닝에 관한 사전 지식이 필요하지 않습니다. 하지만 제시된 개념을 이해하고 실습을 완료하기 위해서는 다음과 같은 필수사항을 충족하는 것이 좋습니다.

기본 대수학 개념 숙지. 변수와 계수, 선형 방정식, 함수의 그래프, 히스토그램을 알고 있어야 합니다. 로그, 미분과 같은 고급 수학적 개념에 익숙하면 유용하지만 꼭 필요하지는 않습니다.

프로그래밍 기본사항 숙지 및 Python을 이용한 코딩 경험. 머신러닝 단기집중과정의 프로그래밍 연습은 텐서플로우를 이용하여Python으로 코딩되어 있습니다. 텐서플로우 사용 경험이 필요하지 않지만 함수 정의/호출, 목록과 사전, 루프, 조건식 등 기본 프로그래밍 구성체가 포함된 Python 코드를 쉽게 읽고 쓸 수 있어야 합니다.

참고: 머신러닝 단기집중과정에 사용되는 수학 및 프로그램 개념의 세부 목록은 각 개념의 참조 자료와 함께 아래의 주요 개념 및 도구 섹션을 참조하세요.사전 작업

프로그래밍 실습은 브라우저에서 바로 실행되므로 설정이 필요하지 않습니다. Colaboratory 플랫폼을 통해 실습이 실행됩니다. Colaboratory는 대부분의 주요 브라우저에서 지원되며 Chrome 및 Firefox 데스크톱 버전에서 가장 철저한 테스트를 거쳤습니다. 실습을 다운로드하여 오프라인에서 하시려면 다음의 안내에서 로컬 환경 설정에 관해 자세히 알아보세요.

Pandas 시작하기

머신러닝 단기집중과정의 프로그램 실습에서는 Pandas 라이브러리를 사용하여 데이터 세트를 조작합니다. Pandas에 익숙하지 않으면 실습에 사용된 주요 Pandas 기능이 설명된 실습에 사용된 주요 Pandas 기능이 설명된 Pandas 빠른 가이드를 참조하세요.

낮은 수준의 텐서플로우 기본 사항

머신러닝 단기집중과정의 프로그래밍 실습에서는 고급 tf.estimator API를 사용하여 모델을 구성합니다. 처음부터 텐서플로우 모델을 구성하려면 다음 가이드를 완료하세요.

TensorFlow Hello World 낮은 수준의 텐서플로우로 코딩된 'Hello World'.텐서플로우 프로그래밍 개념 텐서플로우 애플리케이션의 기본 구성요소 둘러보기: 텐서, 작업, 그래프, 세션.텐서 생성하고 조정하기 텐서 간이 입문서: 텐서플로우 프로그래밍의 중심 추상화. 선형 대수학의 행렬 덧셈과 곱셈에 관해서도 설명되어 있습니다.주요 개념 및 도구

머신러닝 단기집중과정에서는 다음과 같은 개념과 도구를 설명하고 적용합니다. 자세한 내용은 연결된 자료를 참조하세요.

수학대수학변수, 
계수, 
함수선형 방정식.
예: y=b+w1x1+w2x2>y=b+w1x1+w2x2로그 및 로그 방정식. 예: y=ln(1+ezy=ln(1+ez)시그모이드 함수선형 대수학텐서 및 텐서 차수행렬 곱셈삼각법Tanh (활성화 함수에 설명되어 있음, 사전 지식이 필요하지 않음)통계평균, 중앙값, 이상점, 표준 편차히스토그램을 읽을 수 있는 능력적분학(선택 사항, 고급 주제의 경우)미분의 개념 (실제로 미분을 계산할 필요는 없습니다.)경사도 또는 기울기편미분 (경사도와 긴밀한 관련이 있음)연쇄 법칙 (신경망 학습 시 역전파 알고리즘을 완전히 이해하기 위해 필요함)

Python 프로그래밍기본

Python

다음과 같은 Python 기본 사항이 Python 가이드에 설명되어 있습니다.

위치 및 키워드 매개변수를 사용한 함수 정의 및 호출

사전, 목록, 세트(만들기, 액세스, 반복)

for 루프, 반복 변수 여러 개를 사용한 for루프(예: for a, b in [(1,2), (3,4)])

if/else 조건부 블록 및 조건식

문자열 형식 지정 (예: '%.2f' % 3.14)

변수, 할당, 기본 데이터 유형 (int, float, bool, str(ing))

pass 문

중급 Python

다음과 같은 고급 Python 기능도 Python 가이드에 설명되어 있습니다.

목록 이해

람다 함수

타사 Python 라이브러리

머신러닝 단기집중과정 코드 예에서는 타사 라이브러리의 다음과 같은 기능을 사용합니다. 이러한 라이브러리에 관한 사전 지식은 필요하지 않습니다. 필요할 때 알아야 하는 것을 찾을 수 있습니다.

Matplotlib(데이터 시각화용)
pyplot 모듈
cm 모듈
gridspec 모듈
Seaborn(히트맵용)
heatmap 함수
Pandas(데이터 조작용)
DataFrame 클래스
NumPy(낮은 수준의 수학 연산용)
linspace 함수
random 함수
array 함수
arange 함수
scikit-learn(평가 측정항목용)
metrics 모듈
Bash 터미널/Cloud Console

로컬 머신이나 Cloud Console에서 프로그래밍 실습을 실행하려면 쉽게 명령줄을 사용할 수 있어야 합니다.

Bash 참조 매뉴얼Bash Cheatsheet셸 알아보기




. . .
반응형
반응형
[현장] 구글 ‘텐서플로우’ 개발자가 생각하는 머신러닝이란?

http://www.bloter.net/archives/254962

– 텐서플로우와 다른 머신러닝 라이브러리와의 차이점은 무엇인가? 비슷한 질문으로 다른 라이브러리가 아닌 텐서플로우를 선택해야 하는 이유는 무엇인가?

= 모든 기술을 이용해봐라. 토치, 카페 등 다른 기술들을 다운로드 하는 건 어려운 게 아니다. 다양한 기술을 작은 예제와 함께 일단 사용해보라. 그러면 결국 여러분들의 상황에 적합한 기술을 찾을 수 있을 거다. 텐서플로우가 모든 문제를 해결할 수 있는 만능 기술은 아니다. 텐서플로우의 장점은 구글이 만든 2세대 머신러닝 기술이고, 100여명의 인력이 투여되는 기술이라는 점이다. 그 말은 기술 지원이 활발하고, 오류도 더 빨리 발견하고 개선할 수 있다는 뜻이다. 작은 회사의 직원이고 어떤 기술을 선택할 지 고민하고 있다면 텐서플로우가 분명 좋은 대안이 될 것이다. 큰 데이터 규모에서는 더더욱.

– 텐서플로우는 윈도우에서 이용할 수 없다. 향후 윈도우를 지원할 계획이 있는가?

= 계획에 대해서는 뭔가 확실하게 이야기할 게 없다. 하지만 나도 윈도우 기기를 가지고 있고, 텐서플로우를 이용하고 있다. 그래서 추천하는 방법은 VM웨어를 설치하라. 무료 아닌가.(웃음) 그 위에서 다른 운영체제를 설치하고 텐서플로우를 이용해라.

– 알파고가 ‘강화학습(Reinforcement Training)’ 알고리즘을 이용했다고 들었다. 텐서플로우에서 강화학습 혹은 알파고 같은 기술을 지원할 계획이 있는가?

= 텐서플로우는 미국 본사에서 개발한다. 딥마인드는 영국에서 개발한다. 두 팀 모두 구글이란 같은 회사에 속해 있지만 서로 멀리 떨어져 있고 시차가 있어서 빨리 소통하기 어렵다. 딥마인드팀은 자체적으로 기술을 개발하고 있기 때문에 딥마인드가 하는 일에 대해서 많이 알지 못한다. API나 기술 지원은 언젠가 가능할 것으로 본다. 딥마인는 텐서플로우를 포함한 구글의 소프트웨어를 이용하고 있다. 텐서플로우나 구글 고유의 기술을 사용하는 비중이 얼마나 되는지는 잘 모른다.

– ‘텐서플로우 플레이그라운드‘라는 것을 이용해 봤다. 자바스크립트로 만든 시각화 도구인데 매우 흥미로웠다. 이런 도구는 텐서플로우 입문자에게 좋을 것 같더라. 혹시 비슷하게 텐서플로우와 통합해 사용할 수 있는 모니터링 도구나 프로파일 도구를 알고 있는가?

= 텐서플로우 그래프를 이용할 때 갑자기 속도가 느려지는 것을 경험하는 사용자가 있을 것이다. 무엇 때문에 속도가 늦어졌는지 알기 위해서 모니터링 도구나 프로파일링 도구가 필요하다. 텐서플로우 내부 팀이 이용하는 프로파일링 도구가 따로 있긴 하다. 좋은 도구인데 아직 이걸 오픈소스 기술로 공개할지는 결정하지 못했다. 언젠가 오픈소스 기술로 전환할 것이나, 그게 언제일지는 아직 모른다. 하지만 우리팀도 사람들이 어떤 문제를 해결하고 싶은지 명확하게 이해하고 있다. 텐서플로우 플레이그라운드라는 도구는 나도 잘 알고 있다. 여기 있는 분들도 한 번쯤 이용해보셨으면 좋겠다. 어떤 구성요소가 어떻게 작용하는지 쉽게 알 수 있을 것이다.

텐서플로우 플레이그라운드

▲텐서플로우플레이그라운드. 구글과는 별개로 진행되는 외부 프로젝트다.

– 나는 맥 OS 사용자다. 텐서플로우를 이용하려고 했는데 AMD GPU를 지원하지 않더라. 향후 AMD GPU를 지원할 계획은 없는가?

= 계획에 대해 아는 것은 없다. 의존성 문제 때문에 기술을 변경하는 게 쉽지 않더라. 현재 말할 수 있는 가장 좋은 제안은 그냥 엔비디아 카드를 사는 것이다.(웃음)

– 구글의 딥러닝 프로젝트에 합류하려면 어떻게 해야 하는가? 지원자는 경력자여야 하나? 학위 같은 게 있어야 하나?

= 학위가 있으면 좋긴 할 것이다. 하지만 사실 텐서플로우팀은 정말 다양한 사람으로 구성됐다. 많은 사람들이 다른 국적을 가지고 있다. 모두가 일류 대학을 졸업하지도 않았다. 가장 중요한 것은 당연히 프로그래밍 실력이다. 너무 중요하다. 또 어떤 문제를 해결하고 싶어하는 마음이 있어야 한다. 열린 태도를 지니는 것도 중요한 부분이다. 사실 2015년 11월 ‘브레인 레지던시’라는 프로그램을 시작했다. 많은 사람이 이 프로그램에 지원했다. 그 중 30명이 1년간 브레인 레지던시 프로그램에 참여하게 됐다. 참여자들은 머신러닝을 배우고, 자신이 하고 싶은 프로젝트를 진행한다. 여건이 허락된다면 이 프로그램을 내년에도 진행할 계획이다. 여기 있는 많은 분들이 지원해주셨으면 좋겠다.

구글 브레인 레지던시 프로그램

– 박사님께서 음성인식 분야를 전공하신 걸로 알고 있다. 음성인식 분야에서 기계가 인간의 실력을 뛰어넘을 수 있을 것이라고 보는가?

= 이미 기계가 음성인식 분야에서 인간보다 앞서 있다. 같은 문장이라고 가정하면 캘리포니아 출신이냐 텍사스 출신이냐에 따라 말 소리가 매우 다르게 들린다. 많은 사람이 서로 다른 억양을 가진 언어를 잘 이해하지 못한다. 기계는 모든 억양을 이해한다. 실제로 우리가 인도 사람의 말을 받아 적으라고 해보니 사람보다 음성인식 기계가 더 잘 이해했다. 아마 앞으로 서기는 필요 없을지도 모른다. 기계가 더 잘 이해하는 이유는 크게 2가지다. 하나는 억양, 두 번째는 맥락 정보를 잘 알고 있기 때문이다. 남자 아이가 형에게 하는 말은 부모님은 가끔 이해 못할 것이다. 맥락 정보가 없기 때문이다. 기계는 가능하다. 물론 현재 음성인식 앱은 성능이 별로 안 좋을 수 있다. 하지만 앞으로 더 나아질 것이다. 특히 5-6년 안에 음성인식 서비스와 관련해서 엄청난 변화가 있을 것이다.

– 텐서플로우를 기업에서 직접 활용한 사례를 알고 있는가?

= 많은 기업이 텐서플로우를 내려받고 이용하고 있다. 하지만 그걸로 정확히 무엇을 하고 있는지는 알지 못한다. 사실 내가 안다고 해도 그걸 여기서 말할 수 없다. 기업 비밀이지 않은가. 텐서플로우에 관심을 가지고 있는 기업 종류는 특정 산업군에 국한되지 않으며 매우 다양하다.

– 텐서플로우로 챗봇 시스템을 만들 계획이 있는가?

= 챗봇은 아주 만들기 쉬운 기술이다. 챗봇은 아주 기본적인 언어 구조를 이용한다. 문자가 입력되면 답변을 예상하고 다시 질문과 답변을 주고받는 식이다. 이 일련의 과정을 포함한 언어 모델을 계속 훈련시키면 챗봇을 만들 수 있다. 이러한 개념을 일단 이해만 하면 챗봇이 얼마나 쉬운 기술인지 알 수 있을 것이다. 텐서플로우로 지금 당장 개발할 수 있다. 하지만 챗봇을 정말로 쓸모 있게 만드는 것은 또 다른 문제다. 복잡한 대화를 이해하려면 많은 지식을 알고 있어야 하기 때문이다. 현재 나온 챗봇은 바보같은 대화만 할 수 있다. ‘안녕’, ‘이름이 뭐예요?’ 정도만 묻는 식이다. 복잡한 대화는 이해하지 못한다.
반응형
반응형

[ML] TensorFlowKR/MLJejuCamp  Final Presentation (2017. 07. 27 - 28)




...


반응형
반응형

Machine Learning Jeju Camp 


GitHub -  https://github.com/TensorFlowKR/MLJejuCamp



Call for application for Machine Learning Camp Jeju 2017

If you have studied machine learning/deep learning and TensorFlow, you probably want to implement a non-trivial and large-scale system for real use. We invite you to the month-long Machine Learning Camp Jeju 2017, where you can make that dream a reality.

For a full month in beautiful Jeju Island, you and other participants will train a deep learning model using TensorFlow from start-to-finish. Jeff Dean (Google Senior Fellow via Hangout), Rajat Monga (Google/TensorFlow Director (TBC)), and Prof. KyungHyun Cho (NYU) will give us keynote talks. Plus, you will have access to experienced mentors including Namju Kim (Head of Research for Kakao Brain), Sung Kim (HKUST), Lucy Park (TF-KR), Donghyun Kwak (TF-KR), Terry Taewoong Um (TF-KR), and many more. We hope you take advantage of this wonderful opportunity.

Those selected as participants will be provided with one round-trip airfare (up to 300 USD) to Jeju Island (South Korea), room and board at Jeju National University, USD 1,000 in stipends (can be used for the airfare, etc.) and USD 500 to 1,000 in Google Cloud Credit. In addition to these benefits, participants will gain valuable and practical experience in the field of deep learning. We look forward to your application!

Mentor Recruitment: If you’re interested in sharing your experiences and expertise with the camp, please contact us at mljejucamp@googlegroups.com. You will serve as personal mentors to 1 to 2 participants, holding 2 to 3 on/offline meetings a week to help them successfully complete their projects. While it is possible for you to provide online-only mentoring, we suggest you visit Jeju Island to meet with your mentees in person. We will provide round-trip airfare (up to USD 300) to Jeju Island and up to five (5) days of room and board.

(Information regarding schedule, program and benefits are subject to change as we are in the process of finalizing the details. We will have more information later.)

Camp Overview

Benefits (TBD)

  • Full month of hands-on experience training deep learning models with TensorFlow and mentorship from top developers
  • Round-trip airfare to Jeju Island (up to $300 USD)
  • Accomodation in Jeju National University or Kakao Space, Jeju
  • Stipend: 1,000 USD (can be used for the airfare, etc.)
  • Google Cloud Credit ($500~1000 TBD)

Qualification

  • No nationality, gender, age, degree, education requirements
  • Must be able to stay in Jeju Island from July 3rd to 28th. (Weekday camp programs run from 10AM to 5PM)
  • Good understanding of TensorFlow and deep learning and ability to train models (should be able to understand all in https://github.com/hunkim/DeepLearningZeroToAll)
  • Being able to release the code written during the camp publicly on github
  • Basic communication skills in English (All programs will be in English)

Application Closed! (By April 20 11:59PM AOE)

  • Detailed proposal for Deep Learning Camp Jeju 2017 project (Please be as detailed as possible)
  • CV that showcases applicant’s experience with deep learning and TensorFlow
  • Previously implemented models (GitHub or other)
  • Other supporting materials to show your qualification
  • Application link (closed): https://www.surveymonkey.com/r/LY29GM5

Proposal examples:

  • “I will implement paper X from 2016 NIPS Conference using TensorFlow and apply idea Y to the implementation”
  • “My goal is to add idea X to existing TensorFlow model Y and apply it to dataset Z” (Please justify why you are interested in the particular paper, model, dataset, etc. Write your proposal as detailed as possible as it will be the primary criteria to select participants.)

Basic Tasks (but not limited to)

  • Each participant will implement own deep learning related ideas and recently published ideas (in ICML, ICLR, NIPS, etc.) in TensorFlow. Or adapt already implemented ideas to new dataset. Participants will propose in the application.
  • Participate in camp program. (10AM-5PM on weekday basis from July 1 to July 30)
  • Deep learning and TensorFlow expert mentors will advise each participant.
  • Release the code on the github as Open Source.

Camp rules

participants may be dismissed from the camp for the following or similar reasons:

  • Repeatedly engage in behavior that negatively impacts other participants' work
  • Spend unreasonable amount of time on non-camp related tasks.
  • More than 3 missed camp days without proper notice.

Important dates

  • Application due: April 20 (AOE time zone)
  • Notification: May 10
  • Mentor assignment and online discussion: June 1
  • Camp starts: July 3

About Jeju

Located just off the coast of the Korean peninsula, Jeju Island is the largest volcanic island in Korea. Also known as Asia's Hawaii, the island is rife with beautiful sceneries and getaway resorts. Jeju boasts several natural treasures including Mount Halla, the country's highest peak, Trail Olle that winds around the rocky coastline, and Sunrise Peak, a dormant volcano ideal for catching sunrises and sunsets. You will be able to fully experience the island's charm for as long as a month without a visa. For more information, please visit at: http://www.visitjeju.net/en/index.jto.

About Camp

Deep Learning Camp Jeju 2017 is a month-long program (July 3-28, 2017) where participants gain hands-on experience with TensorFlow through individual-based projects with the goal of implementing new deep learning related ideas, and/or already-published ideas. We are looking for approximately 20 participants. More than a dozen industry experts with strong backgrounds in deep learning and TensorFlow implementation will serve as project mentors to guide participants.

FAQs

Q: What are we doing during the one month program?

A: Basically, we design a deep learning model and fully implement using TensorFlow. It is also possible to (re) implement a published paper (by others) and adapt it for new datasets. Based on this, each participants will propose their own plans in their application.

Q: What type of Visa is required for foreigners?

A: No visa is required for most countries. Please check at http://www.immigration.go.kr/HP/IMM80/imm_04/imm_p01/vm3.jsp

Q. Can I apply for partial participation? (i.e. only weekends)

A: Unfortunately No.

Q: Is this only for students?

A: No. Anyone who can spend one full month in Jeju Island in Korea, and work from 10AM-5PM during the weekdays can apply.

Q: Is this a contest?

A: No, this is not a contest. Individuals will have different projects.

Q: Is this a training or teaching program?

A: This is not specifically a teaching event. The applicant should have good understandings on programming, machine learning/deep learning, and TensorFlow. However, we will provide mentors to assist you on your project.

Q: Will data for training be provided or it is up to participants?

A: We will provide some public data sets but participants can also utilize their own data.

Q: Should I bring my laptop?

A: We won’t provide PCs. You need to bring your laptop. However, we will provide cloud server credits.

Q: Training takes a lot of time and computing power. Does the camp provide any support?

A: We will provide cloud server credits.

Q: What are the criteria for selecting applicants?

A: There is no formal criteria, but we are looking for interesting and feasible projects.

Q: What if the attendee cannot complete the work that they submitted?

A: There is no penalty, but mentors will guide each participant to success.

Q: Can developers/researchers working on longer term projects like http://ai-on.org/projects/cardiac-mri-segmentation.html apply? In this case, one month may not be sufficient time to finish the work. Is it OK to apply?

A: It’s OK. As long as the project is interesting, we will consider it. You can also propose a small portion of a larger project that you wish to work on for a month.

Q: Is this only for deep learning? Can I propose a reinforcement learning project?

A: Yes, reinforcement learning is acceptable. Feel free to include other types of interesting machine learning projects.

Q: Can I participate in a keynote session or open seminars even though I am not a camp participant?

A: Yes, the keynote and open seminars are open to everyone. We will have a separate announcement regarding keynote sessions and open seminars.

Q: Will you also be recruiting staff members for the camp?

A: Sorry, but we have no current plans to recruit staff members.

Q: I do have more questions. Where should I contact?

A: Please use the issue (https://github.com/TensorFlowKR/MLJejuCamp/issues) of this page to ask questions.

반응형
반응형
파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문 - 웹 크롤링과 스크레이핑부터 머신러닝.딥러닝까지 체계적으로 배우기

파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문
국내도서
저자 : 쿠지라 히코우즈쿠에 / 윤인성역
출판 : 위키북스 2017.06.15
상세보기


머신러닝의 바탕이 되는 데이터를 수집하고, 수집된 데이터를 기반으로 머신러닝을 수행하는 방법을 설명한다. 인터넷에서 데이터를 어떻게 효율적으로 수집하는지 알아보고, 머신러닝을 원활하게 할 수 있게끔 데이터를 가공하는 방법을 살펴보며 더 나아가 가공된 데이터를 이용해 챗봇 제작, 규동 메뉴 이미지 판정, 얼굴 인식 등 머신러닝에 활용하는 과정까지 실질적인 파이썬 예제 코드로 소개하고 있다. 활용할 데이터만 가지고 있다면 자신이 원하는 것을 만들어낼 수 있다.

역자 동영상 강의


[목   차]

▣ 00장: 머신러닝을 위한 데이터 처리
0-1. 크롤링, 스크레이핑, 머신러닝
___인터넷의 빅데이터
___스크레이핑, 크롤링, 데이터 가공
___머신러닝에 사용할 수 있는 데이터의 구조

▣ 01장: 크롤링과 스크레이핑
1-1. 데이터 다운로드하기
___웹상의 정보를 추출하는 방법
___urllib.request를 이용한 다운로드
___웹에서 데이터 추출하기
___BeautifulSoup로 스크레이핑하기
1-2. BeautifulSoup로 스크레이핑하기
___네이버 금융에서 환율 정보 추출하기
___웹 브라우저로 HTML 구조 확인하기
1-3. CSS 선택자
___위키 문헌에 공개돼 있는 윤동주 작가의 작품 목록 가져오기 
___CSS 선택자 자세히 알아보기
___CSS 선택자로 추출 연습하기
___정규 표현식과 함께 조합하기
1-4. 링크에 있는 것을 한꺼번에 내려받기
___한꺼번에 다운받는 데 필요한 처리 내용
___상대 경로를 전개하는 방법
___재귀적으로 HTML 페이지를 처리하는 방법

▣ 02장: 고급 스크레이핑
2-1. 로그인이 필요한 사이트에서 다운받기
___HTTP 통신
___requests 사용해보기
2-2. 웹 브라우저를 이용한 스크레이핑
___웹 브라우저 원격 조작에 사용하는 Selenium
___웹 사이트를 이미지로 캡처해보기
___네이버에 로그인해서 구매한 물건 목록 가져오기
___Selenium으로 스크레이핑하는 방법
___자바스크립트 실행해보기
2-3. 웹 API로 데이터 추출하기
___웹 API
___웹 API를 제공하는 이유
___웹 API 사용해보기 - OpenWeatherMap의 날씨 정보 
___국내에서 사용할 수 있는 웹 API
2-4. cron을 이용한 정기적인 크롤링
___정기적인 크롤링
___매일 환율 정보 저장하기
___cron으로 매일 한 번 실행하기
___crontab 설정 방법

▣ 03장: 데이터 소스의 서식과 가공
3-1. 웹의 다양한 데이터 형식
___텍스트 데이터와 바이너리 데이터
___XML 분석
___JSON 분석
___YAML 분석
___CSV/TSV 분석
___엑셀 파일 분석
3-2. 데이터베이스
___데이터베이스
___데이터 저장에는 어떤 데이터베이스를 사용해야 할까?
___SQLite - 가볍게 파일 하나로 사용할 수 있는 데이터베이스
___MySQL 사용하기
___TinyDB 사용하기

▣ 04장: 머신러닝
4-1. 머신러닝이란?
___머신러닝 개요
___머신러닝의 종류
___머신러닝의 흐름
___머신러닝의 응용 분야
___초과 학습(초과 적합)
4-2. 머신러닝 첫걸음
___머신러닝 프레임워크 scikit-learn
___XOR 연산 학습해보기
___붓꽃의 품종 분류하기
4-3. 이미지 내부의 문자 인식
___손글씨 숫자 인식하기
___이미지 데이터 학습시키기
4-4. 외국어 문장 판별하기
___외국어 판정
___판정 방법
___샘플 데이터 수집
___언어 판별 프로그램
___웹 인터페이스 추가하기
4-5. 서포트 벡터 머신(SVM)
___SVM이란?
___SVM을 실제로 사용해보기
___SVM의 종류
4-6. 랜덤 포레스트
___랜덤 포레스트란?
___랜덤 포레스트 사용하기
4-7. 데이터를 검증하는 방법
___크로스 밸리데이션
___그리드 서치

▣ 05장: 딥러닝
5-1. 딥러닝 개요
___딥러닝
5-2. TensorFlow 설치하기
___TensorFlow
___설치 방법
___설치가 제대로 됐는지 확인하기
___TensorFlow로 간단한 계산해보기
5-3. Jupyter Notebook
___Jupyter Notebook 설치하고 실행하기
___새 노트 만들기
___데이터 시각화
___TensorFlow와 함께 사용하기
5-4. TensorFlow 기본
___TensorFlow 기본
___머신러닝 해보기
5-5. TensorBoard로 시각화하기
___TensorBoard의 사용법
5-6. TensorBoard로 딥러닝하기
___딥러닝의 구조
___딥러닝 해보기 - MNIST 손글씨 데이터
5-7. Keras로 다양한 딥러닝 해보기
___Keras
___Keras 설치
___Keras로 MNIST 테스트해보기
___Keras로 비만도 판정해보기
5-8. Pandas/NumPy 다루기
___Pandas/NumPy
___데이터 조작
___Pandas/Numpy 정리

▣ 06장: 텍스트 분석과 챗봇 만들기
6-1. 한국어 분석(형태소 분석)
___형태소 분석
___한국어 형태소 분석 라이브러리
___출현 빈도 분석
6-2. Word2Vec으로 문장을 벡터로 변환하기
___Word2Vec
___Gensim 설치
___Gensim의 Word2Vec으로 "토지"를 읽어보기
___위키피디아 한국어 버전을 사전으로 사용해보기
___위키피디아 데이터로 놀아보기
6-3. 베이즈 정리로 텍스트 분류하기
___텍스트 분류
___베이즈 정리
___나이브 베이즈 분류
___베이지안 필터 사용해보기
6-4. MLP로 텍스트 분류하기
___MLP로 텍스트 분류하기
6-5. 문장의 유사도를 N-gram으로 분석하기
___문장의 유사도 분석
___레벤슈타인 거리
___파이썬으로 레벤슈타인 거리를 계산하는 프로그램
___N-gram으로 유사도 구하기
6-6. 마르코프 체인과 LSTM으로 문장 생성하기
___마르코프 체인과 LSTM/RNN
___마르코프 체인이란?
___마르코프 체인 구현하기
___LSTM/RNN
6-7. 챗봇 만들기
___챗봇(회화 봇)
___챗봇의 구조

▣ 07장: 이미지와 딥러닝
7-1. 유사 이미지 검출하기
___간단한 형태 인식 - Average Hash
7-2. CNN으로 Caltech 101의 이미지 분류하기
___CNN으로 색상 있는 이미지 분류해보기
7-3. 규동 메뉴 이미지 판정하기
___규동을 판정할 수 있는 PC가 좋은 PC
___스크레이핑부터 시작하기
7-4. OpenCV로 얼굴 인식하기
___OpenCV
___얼굴을 인식하는 프로그램 만들어보기
___얼굴에 모자이크 걸기
7-5. 이미지 OCR - 연속된 문자 인식하기
___OpenCV로 텍스트 영역 확인하기
___문자 인식 데이터 만들기
___다양한 숫자 폰트 학습 시키기

▣ 부록: 개발 환경 구축
부록-1. Docker로 개발 환경 구축하기
___Docker란?
___Docker 설치
___윈도우 10 이하에서 Docker Toolbox 설치하기
___macOS에서 Docker for Mac 설치하기
부록-2. 파이썬 + Anaconda 환경 준비
___파이썬 + Anaconda 이미지 다운로드


...



반응형

+ Recent posts