오늘은 Pandas dataframe 데이터로 PostgreSQL 데이터베이스에 Upsert 작업을 해보려고 합니다. PostgreSQL 데이터베이스는 로컬에 따로 띄어놓고 작업해보겠습니다. 개요 (현 시점 22년 1월 23일 기준으로) Pandas에서 제공하는 to_sql 메소드에서는 각 행마다 데이터베이스의 PK나 유니크 제약조건이 충돌날 때...

안녕하세요. 2017년부터 시작하여 어느덧 다섯 번 째 회고가 되었습니다. 2021년은 2020년의 연장선과도 같은 해였습니다. 주중에는 회사 업무를 하고 주말에는 개인적인 공부를 해가며 나름 알찬 나날을 보냈다고 생각됩니다. 내년에도 올해와 비슷한 패턴의 날들이 지속될 것 같지만, 새해는 언제나 기대됩니다. 회사 근무 커머스 관련 스타트업에서...

오늘은 맥에서 Podman 설치하고 도커에서 빌드한 컨테이너 이미지를 실행해보려 합니다. Podman Podman은 Linux에서 OCI 컨테이너를 빌드하고 실행하기 위한 컨테이너 엔진입니다. 도커는 도커 데몬에서 관리하지만, Podman은 기본적으로 이미지와 컨테이너 그리고 저장소가 서로 분리된 구조로 되어있습니다. 자세한 내용은 podman...

오늘은 microsoft의 Machine Learning for Beginners 한국어 번역 후기를 공유하고자 합니다. 시작하며 최근 마이크로소프트에서 공개한 Machine Learning for Beginners 강의를 7월 3일부터 8월 16일까지 약 40일에 걸쳐 번역했습니다. 퇴근 후 시간과 주말을 활용해서 틈틈이 진행한 탓에 생각보다 긴...

오늘은 Docker로 PostgreSQL 컨테이너를 구동해서 간단히 데이터베이스 구축해보려고 합니다. 여기에 Docker-compose 로 더 쉽게 작업해보겠습니다. 개요 코드에서 데이터베이스 관련 테스트를 진행할 때에 상용 서버의 데이터베이스를 건드리기는 쉽지 않습니다. 데이터베이스를 직접 로컬에 설치하기에는 테스트를 위해서 더 시간을 들여야...

오늘은 VS code로 Django 3.1 웹 사이트를 MS Azure 웹앱에 배포해보겠습니다. 준비물 MS Azure account Azure 웹앱을 사용하기 위해 필요합니다. python 3.6 이후 버전 Django 3.1 버전부터 python 3.6 이후 버전을 지원합니다. MS Azure 포털 로그인 우선 MS Az...

오늘은 도커 컨테이너로 구현된 웹 서비스를 MS Azure 웹앱에 올려보고, 구글 로그인도 연동해보겠습니다. 준비물 MS Azure account Azure 웹앱을 사용하기 위해 필요합니다. Google account 구글 로그인을 위한 OAuth 설정을 위해 필요합니다. Docker image - web server (...

오늘은 파이썬으로 비동기를 구현할 때 사용하는 asyncio 패키지와 boto에 비동기 지원하는 aiobotocore 패키지에 대하여 실습해보려 합니다. 우선 asyncio에 대하여 간단히 알아보자면, async await 로 동시성 코드를 작성할 수 있는 라이브러리입니다. Python 3.6 이상 버전이면 기본적으로 존재합니다. 더 많은 정보는...

2020년은 코로나19로 인하여 평소와 다르게 일상의 소중함을 다시 느낀 해였습니다. 당연하게 했던 세미나 및 오프라인 모임들이 사라지고, 비대면 활동으로 채워졌습니다. 내년에도 어떤 상황이 펼쳐질지 모르지만, 올해보다 더 활발하게 활동할 수 있기를 내심 기대하고 있습니다. 회사 근무 데이터 엔지니어로 근무한 지 어느덧 1년 8개월이 지나고 있...

오늘은 Python에서 작업을 대기열에 추가하고, 워커로 처리할 수 있는 rq 라이브러리를 알아보려 합니다. rq 패키지 설치 우선 virtualenv로 파이썬 환경을 분리합니다. pip3 install virtualenv virtualenv -mvenv env env라는 이름의 가상 환경을 생성합니다. source env/bin/act...