커리어 부트캠프 1주차에 이어 2주차입니다! → https://maniaeom.7
(Career Boot Camp Week 1 by Comment) 웹사이트 개발 방법 배우기
4차 산업혁명과는 동떨어진 삶을 살아왔습니다. 놀랍게도 빅데이터 과목을 다음 학기부터 복수과목으로 이수할 수 있었습니다. 따라서 이 분야, 즉 겨울방학에 대한 기본적인 지식이 없었다.
maniaeom.tistory.com
캠프 첫 주에 대지 기획과 개발에 대해 배웠습니다. 할당 페이지 ‘계획하다’~였다
그러나 더 알고 싶은 영역은 일반적인 개발이 아닙니다. 빅 데이터 분석오전.
같은 맥락에서 나는 이 캠프에서 더 많은 것을 기대했다.
이번 캠프 역시 녹화된 영상을 보고 과제를 풀어보는 방식으로 진행됐다.
마지막 강의는 멘토가 어떻게 개발자가 되었는지, 개발자의 일상 업무는 어떤 모습인지에 대한 강의가 주를 이뤘습니다.
이번에는 빅데이터 개념과 사례, 기존 데이터 모델과 빅데이터 비교, 빅데이터의 필요성 나는 이론을 배웠다.
가장 흥미로웠던 부분은 하둡!
지금까지 우리는 빅데이터가 이전 데이터와 달리 매우 많은 양의 정보를 담고 있다는 사실만 알고 있었습니다.
이렇게 많은 양의 데이터를 처리하는 과정에 대해 잘 몰랐는데 Hadoop이라는 프레임워크를 사용할 수 있다는 것을 알게 되었습니다.
Databricks’ ‘Hadoop이란 무엇입니까?’: https://www.databricks.com/kr/glossary/hadoop
하둡이란 무엇입니까? – 데이터 브릭
하둡이란 무엇입니까? “하둡”은(는) 무슨 뜻인가요? 더 중요한 것은 Hadoop이 무엇을 의미합니까? 실제로 High Availability Distributed Object Oriented Platform의 약자입니다.
www.databricks.com
데이터는 메모리에 저장되지 않고 마스터 노드와 여러 슬레이브 노드에서 처리됩니다.
Hadoop은 분산 장치에 데이터를 저장할 수 있는 시스템입니다. HDFS(“여러 대의 컴퓨터에 나누어 저장”으로 이해),
저장된 분산 파일 분석 지도 축소(“분할하여 저장된 파일을 원하는 방식으로 가공하여 결합하는 것”으로 이해)으로 구성됩니다.
강의를 듣고 나면 과제가 있습니다. 이 작업 Python 샘플 솔루션!
다른 개발자들은 자바, C, C++ 등을 사용하지만 빅데이터 분야는 파이썬많다고 합니다(물론 다른 언어도 많이 사용합니다)
문제를 해결하기 위해 파일을 열었는데 확장자가 .ipynb~였다
IDLE도 깔아놓은 노트북에서는 문제가 안되어서 당황했는데 잘되네요 주피터 노트북걸어야 했다
Python Coding Dojo의 ‘Jupyter Notebook 사용’: https://dojang.io/mod/page/view.php?id=2457
Python 코딩 Dojo: 46.2 Jupyter 노트북 사용
지금까지 Python IDLE에서 코드를 작성하고 실행했습니다. 이번에는 웹 브라우저에서 Python 코드를 작성하고 실행할 수 있는 jupyter notebook을 사용하겠습니다. 엄밀히 말하자면
dojang.io
Datadoctor의 ‘Py) Anaconda 설치’: https://datadoctorblog.com/2020/07/06/py-anaconda-install/
py) 아나콘다 설치
Python을 시작하려면 여러 가지 방법이 있습니다. B. 리눅스 OS에 기본적으로 설치된 파이썬을 사용하거나 단순히 파이썬을 다운로드하여 가상환경을 생성한다. 그 중 주피터 노트
datadoctorblog.com
Jupyter Notebook은 IDLE과 다릅니다. 웹 브라우저.NET에서 Python 코드를 작성하고 실행할 수 있습니다.
제 경우에는 Jupyter 노트북을 사용하는 두 가지 방법이 있습니다. 아나콘다 설치방법을 선택
(Python을 설치한 후 명령 프롬프트를 사용할 수도 있지만 Anaconda를 설치하는 것이 훨씬 쉽습니다.)
처음 써보는 주피터 노트북이 낯설었습니다.
또한 이상한 점은 코드가 셀에 작성되어야 하고 즉시 실행될 수 있다는 것입니다.
아마도 개발 중간에 실행 가능주목할만한 이점입니다.
예제 자체는 그리 어렵지 않았습니다.
문제와 함께 답을 올려주셔서 1) 최대한 풀고 2) 답과 비교하며 공부했습니다.
그리고 답을 비교하면서 새로운 것을 배우기있다면 논평로 기록
이전 과제와 달리 2주 차 캠프는 비교적 빨리 끝났습니다.
인문학 1학기 끝나고 파이썬 과제를 오랜만에 받아서 너무 재미있었어요.
또한 코딩은 글로 배우는 것보다 직접 문제를 해결해야 하는 것 같습니다.
다음 포스팅은 캠프 3주차 리뷰로 돌아오겠습니다.