A Full Stack Develpor

https://www.youtube.com/watch?v=RQ0eKv6HrpM 

https://wagtail.org/blog/wagtail-heroku-2017/

먼저 위에 사이트에서 운영체제에 맞는 Heroku를 다운 받도록 하자.

1. Heroku 설치

https://devcenter.heroku.com/articles/heroku-cli

먼저 위에 사이트에서 운영체제에 맞는 Heroku를 다운 받도록 하자.

2. Django-toolbelt 설치

배포를 위한 관련 라이브러리를 모아놓은 라이브러리이다. 

• django
• psycopg2
• gunicorn
• dj-database-url
• dj-static

위에 라이브러리들이 설치된다.

pip freeze > requirements.txt

requirements.txt파일을 업데이트 해준다.

3. 데이터 베이스 설정 (PostreSQL)

https://vicapor.tistory.com/142

https://vicapor.tistory.com/122

참고

4. Procfile 생성

Procfile

web: gunicorn 프로젝트이름.wsgi --log-file -

5. runtime.txt 파일 생성

https://devcenter.heroku.com/articles/python-support

위의 사이트에서 지원되는 파이썬 버전을 확인해 볼 수 있다.

python-3.8.12

나는 프로젝트에서 사용한 3.8.12버전으로 진행해보겠다.

6. settings/production.py 수정

# Parse database configuration from $DATABASE_URL
import dj_database_url
DATABASES['default'] =  dj_database_url.config()
	
# Honor the 'X-Forwarded-Proto' header for request.is_secure()
SECURE_PROXY_SSL_HEADER = ('HTTP_X_FORWARDED_PROTO', 'https')

# Allow all host headers
ALLOWED_HOSTS = ['*']

아직 Heroku url을 모르기 때문에 ALLOWED_HOSTS는 모두 허용을 해놓는다.

7. .gitIgnore 파일 생성

*.pyc
.DS_Store
*.swp
/venv/
/static/
/media/
.env

이미 git에 연결했으면 .gitignore파일이 존재할 것이다. 위의 내용을 추가해주자.

8. .env 파일생성

.env

DJANGO_SETTINGS_MODULE=project_title.settings.production
SECRET_KEY='####'

9. Production.py 파일 수정

from __future__ import absolute_import, unicode_literals
from .base import *
import dj_database_url
import os

env = os.environ.copy()
SECRET_KEY = env['SECRET_KEY']

중요한 것은 __future__은 제일 먼저 import 되어야 하므로 맨 위에 적는다.

10. Heroku 배포

배포전에 git에 push를 해놓자!!

git init
git add .
git commit -m "first commit to heroku"
heroku create 
# Creates a new Heroku app and connects it to your initialised git repo
git push heroku master 
# Pushes your commited code up to your new ap
heroku plugins:install heroku-config
# Install plugin that allows us to push settings to heroku
heroku config:push
# Pushes settings to heroku, if you get an error check your spaces.
heroku run python manage.py migrate 
# Heroku allows you to run shell commands remotely with the 'heroku run' command.
heroku run python manage.py createsuperuser
# Creates a new superuser on Heroku
heroku ps:scale web=1 
# Ensures that a new Dyno is running for your project

issue) 

Dependency on app with no migrations: user 오류가 발생했다. 

user app의 migrations폴더에 0001_initial.py을 .gitignore에 포함시키고 git push를 해주면 된다. 

user app에 user model이 정의 되어 있는데 diary app에서 user를 사용하기 때문에 dependency오류가 발생하는 것 같다.

11. whitenoise제거

pip install whitenoise

MIDDLEWARE = [

	...
    'whitenoise.middleware.WhiteNoiseMiddleware',

]

settings/production.py

STATICFILES_STORAGE = 'whitenoise.storage.CompressedManifestStaticFilesStorage'

COMPRESS_OFFLINE = True
COMPRESS_CSS_FILTERS = [
    'compressor.filters.css_default.CssAbsoluteFilter',
    'compressor.filters.cssmin.CSSMinFilter',
]
COMPRESS_CSS_HASHING_METHOD = 'content'

git push heroku master

heroku에 대한 자세한 설명이 보고싶다면

heroku help

추가) 

Heroku에서는 Local에서 makemigrations를 진행하고 migrations 파일까지 전부 git에 업로드 해야한다. 그리고 heroku에서 migrate를 해줘야한다. 

https://www.accordbox.com/blog/how-export-restore-wagtail-site/

# postgres
python -Xutf8 manage.py dumpdata --natural-foreign --indent 2 \
    -e contenttypes -e auth.permission -e postgres_search.indexentry \
    -e wagtailcore.groupcollectionpermission \
    -e wagtailcore.grouppagepermission -e wagtailimages.rendition \
    -e sessions > data.json
    
# sqlite
python -Xutf8 manage.py dumpdata --natural-foreign --indent 2 -e contenttypes -e auth.permission -e wagtailsearch.indexentry -e wagtailcore.groupcollectionpermission -e wagtailcore.grouppagepermission -e wagtailimages.rendition -e sessions -e wagtailcore.pagerevision > data.json

python -Xutf8 manage.py dumpdata --indent 2 > data.json

import os

from django.conf import settings
from django.core.files.storage import default_storage, FileSystemStorage
from django.core.management.base import BaseCommand
from django.core.management import call_command

from wagtail.core.models import Site, Page


class Command(BaseCommand):
    def _copy_files(self, local_storage, path):
        """
        Recursively copy files from local_storage to default_storage. Used
        to automatically bootstrap the media directory (both locally and on
        cloud providers) with the images linked from the initial data (and
        included in MEDIA_ROOT).
        """
        directories, file_names = local_storage.listdir(path)
        for directory in directories:
            self._copy_files(local_storage, path + directory + '/')
        for file_name in file_names:
            with local_storage.open(path + file_name) as file_:
                default_storage.save(path + file_name, file_)

    def handle(self, **options):
        fixtures_dir = os.path.join(settings.PROJECT_DIR, 'fixtures')
        print(os.path.join(fixtures_dir, 'ezstbackend.json'))
        fixture_file = os.path.join(fixtures_dir, 'ezstbackend.json')

        print("Copying media files to configured storage...")
        local_storage = FileSystemStorage(os.path.join(fixtures_dir, 'media'))
        self._copy_files(local_storage, '')  # file storage paths are relative

        # Wagtail creates default Site and Page instances during install, but we already have
        # them in the data load. Remove the auto-generated ones.
        if Site.objects.filter(hostname='localhost').exists():
            Site.objects.get(hostname='localhost').delete()
        if Page.objects.filter(title='Welcome to your new Wagtail site!').exists():
            Page.objects.get(title='Welcome to your new Wagtail site!').delete()

        call_command('loaddata', fixture_file, verbosity=0)

        print("Awesome. Your data is loaded! The bakery's doors are almost ready to open...")

python manage.py load_initial_data

python manage.py loaddata data.json

**참고 사이트**
- https://docs.wagtail.io/en/stable/extending/rich_text_internals.html#rich-text-internals
- https://github.com/wagtail/wagtail/issues/2695

**Issue**
RichEditor에서 Image나 file을 사용할 때 Wagtail 자체에서 embed tag로 변환해서 Database에 저장합니다. 

<embed embedtype="image" id="10" alt="A pied wagtail" format="left" />

Wagtail Template에서 |richtext가 바로 위 embed태그를 parse해주는 Template태그입니다. 다만 Api 전달할 때에는 그대로 embed 태그로 오기 때문에 이를 변환해서 Api에 사용할 수 있는 방법이 필요합니다. (이는 FrontEnd에서 v-html로 바로 변환해서 사용 해야 하기 때문에 그렇습니다.)

**해결**
그래서 전달되는 RichText의 Image를 원하는 형식에 맞게 바꾸고 이를 변환해서 API에 전달하는 방식에 대해서 고민하고 property를 사용해서 해결했습니다. 

handlers.py

from wagtail.core.rich_text import EmbedHandler
from wagtail.images.models import Image


class ImageHandler(EmbedHandler):
    identifier = 'image'

    @classmethod
    def expand_db_attributes(cls, attrs):
        image = Image.objects.get(pk=attrs['id'])
        image_url = image.file.name
        image_endpoint = "http://127.0.0.1:8000/media/" + image_url
        response_format = '<img class="richtext-%s" src="%s" alt="%s" />'
        return response_format % (
            attrs['format'],
            image_endpoint,
            attrs['alt'])

wagtail_hooks.py

from .handlers import ImageHandler

@hooks.register("register_rich_text_features", order=10)
def register_embed_handler(features):
    features.register_embed_type(ImageHandler)

models.py

from wagtail.core.rich_text import expand_db_html

@property
  def intro_api(self):
  	return expand_db_html(self.intro)

schema.py

intro_api: str

되는 코드인데 안된다고 생각되었을 경우 다른 곳에서 원인을 찾아보자!!

Gunicorn, Nginx? 

지금까지는 python manage.py runserver 명령을 사용해서 서버를 실행시켰다. 하지만 실제로 서버에서 웹사이트를 운영할 때 방문자가 많아지면 성능, 보안 등의 문제가 발생할 수 있다. 이런 상황에 대응하기 위해 전문적인 웹 서버 소프트웨어를 사용해 서버를 실행시켜야한다. 웹 서버 소프트웨어를 사용하면 방문자의 요청에 더 빠르게 응답할 수 있고, 많은 사용자가 동시에 접속했을 때 여러 대의 서버로 요청을 분산하는 로드 밸런싱 같은 기능도 제공.

Django에서 웹 서버 소프트웨어는 보통 Nginx를 사용한다. 웹 서버 소프트웨어와 Django를 연결하기 위해 WSGI(Web Server Gateway Interface)인 Gunicorn을 사용한다. 

1. Gunicorn 적용 

1) 설치

pip install gunicorn

2) settings.py 수정

STATIC_ROOT = os.path.join(BASE_DIR, 'static')
STATIC_URL = '/static/'

MEDIA_ROOT = os.path.join(BASE_DIR, 'media')
MEDIA_URL = '/media/'

3) urls.py 수정

urlpatterns += static(settings.MEDIA_URL, document_root=settings.MEDIA_ROOT)
urlpatterns += static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)

2. Nginx 적용

Nginx 적용이라기보단 Docker에서 Nginx 적용을 위한 설정 파일의 생성이다.

nginx/nginx.conf

upstream do_it_django {
    server web:8000;
}

server {
    listen 80;
    server_name something.com; # 서버 이름 설정

    location / {
        return 301 https://$host$request_uri;
    }

    location /.well-known/acme-challenge/ {
        root /var/www/certbot;
    }
}

server {
    listen 443 ssl;
    server_name something.com; # 서버 이름 설정

    location / {
        proxy_pass http://something; # 서버 domain (.com 제외)
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host;
        proxy_redirect off;
    }

    location /static/ {
        alias /usr/src/app/_static/;
    }

    location /media/ {
        alias /usr/src/app/_media/;
    }

    ssl_certificate /etc/letsencrypt/live/서버 도메인(something.com)/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/서버 도메인(something.com)/privkey.pem; # 서버 접속 .pem 키
    include /etc/letsencrypt/options-ssl-nginx.conf;
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem;

}

PostgreSQL이란?

PostgreSQL은 확장 가능성 및 표준 준수를 강조하는 객체-관계형 데이터베이스 관리 시스템(ORDBMS)의 하나이다. BSD 허가권으로 배포되며 오픈소스 개발자 및 관련 회사들이 개발에 참여하고 있다.

Django나 Wagtail에서는 기본적으로 Sqlite3를 제공하고 있다. 그러나 충분한 성능을 기대하긴 어렵다. 그래서 오픈 소스로 사용가능한 PostgreSQL을 적용해보자. 

-윈도우는 아래 링크 참고-

https://dora-guide.com/postgresql-install/

https://m.blog.naver.com/ilsan_ilsan/221493158294

1. PostgreSQL 설치

pip install psycopg2-binary

2. Settings

settings.py

DATABASES = {
    'default': {
        'ENGINE': os.environ.get('SQL_ENGINE', 'django.db.backends.sqlite3'),
        'NAME': os.environ.get('SQL_DATABASE', os.path.join(BASE_DIR, 'db.sqlite3')),
        'USER': os.environ.get('SQL_USER', 'user'),
        'PASSWORD': os.environ.get('SQL_PASSWORD', 'password'),
        'HOST': os.environ.get('SQL_HOST', 'localhost'),
        'PORT': os.environ.get('SQL_PORT', '5432'),
    }
}

os.environ.get은 배포를 위해 만들어 놓은 .env 파일에서 설정을 가져와서 사용한다는 것이다.

로컬에서는 sqlite3를 계속해서 사용하기 위해 뒤에 입력해준다. 

추가)

.env 파일이란?

환경변수 설정 파일이다. 기존에 local에서 개발할 때 처럼 settings.py에 데이터베이스 정보, Django Secret Key등을 입력하게 되면 보안 문제를 야기할 수 있다. 그래서 .env 파일을 만들고 .gitignore에 추가시켜 업로드 되지 않게 관리하는 것이 바람직하다. 

.env

DEBUG=True
SECRET_KEY=django-insecure-ivndf...
DJANGO_ALLOWED_HOSTS=localhost 127.0.0.1 [::1]

SQL_ENGINE=django.db.backends.postgresql_psycopg2
SQL_DATABASE=wagtail
SQL_USER=vicapor
SQL_PASSWORD=1234
SQL_HOST=db
SQL_PORT=5432
DATABASE=postgres

.env 파일의 예시이다. 

.gitignore

...

# .env 파일 push 방지
.env.prod
.env.db
.env.dev

위와 같이 생성한 .env 파일을 gitignore 해주면 된다.

Django SecretKey 재생성

Django Secretkey는 중요한 역할을 한다. 예를 들어 클라이언트에서 request로 token 값이 왔을 때, Django SecretKey와 암호화 알고리즘을 사용하여 암호화 한다. 만약 노출 되었을 경우 변경은 필수적이다. 

# python shell 접속
python manage.py shell


# shell에서 실행
from django.core.management.utils import get_random_secret_key

get_random_secret_key()

도커란 ? 

도커는 리눅스의 응용 프로그램들을 프로세스 격리 기술들을 사용해 컨테이너로 실행하고 관리하는 오픈 소스 프로젝트이다. 도커 웹 페이지의 기능을 인용하면 다음과 같다: 도커 컨테이너는 일종의 소프트웨어를 소프트웨어의 실행에 필요한 모든 것을 포함하는 완전한 파일 시스템 안에 감싼다. 

쉽게 말하자면 내 컴퓨터에서 작업한 결과가 다른 컴퓨터에서도 똑같이 동작한다는 보장이 없다. 컴퓨터 환경이 전부 다르기 때문이다. 도커의 역할은 다른 하드웨어와 운영체제에서 작업하더라도 동일한 환경을 갖출 수 있도록 도와주는 기술이다. 가상환경(env)와 비슷한데 가상환경은 개발 환경을 구축하기에는 충분하지만 구현한 서비스를 서버에 옮겨서 서비스를 제공하는 배포 과정에는 부족하다. 배포를 하기 위해서는 소스 코드를 복제해서 적절한 위치에 저장하고, 웹 페이지를 보여주는 웹 서버, 웹 서버에서 받은 요청을 프레임 워크(Django, Wagtail 등등)에게 넘겨주기 위한 인터페이스, 데이터베이스 등의 추가적인 작업이 필요하다. 가상환경으로는 한계가 있어서 도커를 사용해 모든 환경을 서버로 옮기는 것이다. 

도커의 작동 방식

1) 도커 설정 파일에 웹 사이트 배포에 필요한 환경설정 정보를 모두 지정한다. 2) 도커를 실행하면 설정 파일에 지정한 대로 서버 전체를 복제한 컨테이너 이미지가 생성된다. 3) 마지막으로 생성된 컨테이너 이미지를 실행시키면 된다. 

1. Docker 설치 

Ubuntu 기준으로 설치하는 방법을 간략하게 소개

1) 오래된 버전 삭제하기

sudo apt-get remove docker docker-engine docker.io containerd runc

2) repository 설정하기

$ sudo apt-get update
 
$ sudo apt-get -y install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

3) Docker Official GPG Key 등록

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

4) stable repository 등록

echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5) Docker Engine 설치

$ sudo apt-get update
 
$ sudo apt-get install docker-ce docker-ce-cli containerd.io

6) 버전 확인

docker --version

7) Docker Compose 설치

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

docker-compose -version

Docker Compose의 최신 버전은 아래 링크에서 확인할 수 있다. 

https://github.com/docker/compose/releases

2. Docker File

Dockerfile에는 지금까지 프로젝트를 진행한 로컬 환경과 동일한 Container 이미지를 만들기 위해 지정할 내용을 작성한다. 

Wagtail에서 기본으로 제공하는 Dockerfile을 살펴보자. (Dockerfile이 기본명)

# 도커는 파이썬이 설치되어 있는 이미지를 기본으로 제공한다. 이 이미지를 불러온다. 
FROM python:3.8.1-slim-buster

# Container Port 설정 (참고 <1>)
EXPOSE 8000

# 파이썬은 종종 소스 코드를 컴파일해서 확장자가 .pyc인 파일을 생성하는데 
# Docker에서는 필요하지 않으므로 생성하지 않도록 방지
ENV PYTHONDONTWRITEBYTECODE=1 \
    PYTHONUNBUFFERED=1 \ # 파이썬 로그가 버퍼링 없이 즉각적으로 출력하게 만듦
    PORT=8000

# requirements.txt에서 필요한 라이브러리를 설치하기 위해 필요한 gcc, musl-dev 등을 미리 설치
RUN apt-get update --yes --quiet && apt-get install --yes --quiet --no-install-recommends \
    build-essential \
    libpq-dev \
    libmariadbclient-dev \
    libjpeg62-turbo-dev \
    zlib1g-dev \
    libwebp-dev \
 && rm -rf /var/lib/apt/lists/*

# 서버 배포를 위한 gunicorn 설치
RUN pip install "gunicorn==20.0.4"

# requirements.txt 설치
COPY requirements.txt /
RUN pip install -r /requirements.txt

# 로컬 컴퓨터의 현재 위치에 있는 파일을 모두 작업 폴더로 복사.
# /usr/src/app는 복사할 작업 폴더를 의미.
WORKDIR /usr/src/app

COPY . /usr/src/app

# static file 관리
RUN python manage.py collectstatic --noinput --clear

RUN find . | grep -E "(__pycache__|\.pyc|\.pyo$)" | xargs rm -rf

# 추가 
# 엔트리 포인트 설정, Docker 버전 문제로 권한 문제가 발생하므로 'sh'를 붙인다.
# 권한 문제는 아래로도 해결할 수 있다. 
# docker-compose -f docker-compose.yml build --no-cache
ENTRYPOINT ["sh", "/home/app/web/entrypoint.prod.sh"]

<1> expose와 ports 모두 컨테이너 포트를 노출 시키는 것이지만 expose는 호스트 내부의 다른 컨테이너들만 액세스가 가능하고 ports로 노출하면 ports에 설정한 호스트 포트번호로 호스트 외부의 다른 호스트들도 호스트 포트번호로 액세스가 가능.

참고) Dockerfile의 명령어에 대해서 정리해놓은 블로그이다. 

https://www.daleseo.com/dockerfile/

3. Docker Compose File

Docker Compose file을 사용하면 Container를 여러 개를 한 번에 실행시킬 수 있고, Container를 실행시킬 때 옵션도 줄 수 있다. (docker-compose.yml이 기본명)

# 도커 컴포즈 파일 포맷 버전  
version: '3'

services:
  # service에 nginx라는 이름의 컨테이너를 추가
  nginx:
  	# nginx 컨테이너를 만들기 위한 파일을 넣을 nginx 폴더를 생성
    build: ./nginx    
    # 컨테이너가 종료되면 컨테이너 안에 저장되어 있는 내용도 사라지는데 
  	# Nginx의 Volume 기능을 이용하면 컨테이너를 다시 실행했을 때 바로 불러올 수 있다.
  	# 웹 사이트 방문자가 정적 파일을 요청하면 vloume에 저장되어 있는 파일을 바로 보내줌.
    volumes:
      - static_volume:/usr/src/app/_static
      - media_volume:/usr/src/app/_media
      - ./data/certbot/conf:/etc/letsencrypt
      - ./data/certbot/www:/var/www/certbot
    ports:
    	# 도메인이나 ip 주소 뒤에 아무것도 쓰지 않으면 80이 기본값.
      - 80:80
      - 443:443
    # nginx는 web container에 의존성을 갖음
    depends_on:
      - web
  certbot:
    image: certbot/certbot
    entrypoint: "/bin/sh -c 'trap exit TERM; while :; do certbot renew; sleep 12h & wait $${!}; done;'"
    volumes:
      - ./data/certbot/conf:/etc/letsencrypt
      - ./data/certbot/www:/var/www/certbot
      
  # web이라는 이름의 서비스 실행
  web:
  	# 현재 폴더를 build
    build: .
    # 터미널에서 실행했던 명령어를 대신 실행(귀니콘으로 실행)
    command: gunicorn do_it_django_prj.wsgi:application --bind 0.0.0.0:8000
    # volumes으로 로컬 컴퓨터의 폴더와 도커의 폴더를 연결. (현재 폴더를 /usr/src/app/ 폴더와 연결)
    volumes:
      - static_volume:/usr/src/app/_static
      - media_volume:/usr/src/app/_media
      - ./:/usr/src/app/
    # 포트 설정
    ports:
      - 8000
    # 배포 환경 설정
    env_file:
      - ./.env.prod
    # web 컨테이너는 db 컨테이너가 실행된 이후에 시작해야 함.
    depends_on:
      - db
  
  db:
  	# docker에서 제공하는 postgres db 버전 설정
    image: postgres:12.0-alpine
    # 컨테이너 실행이 중단되더라도 데이터베이스의 내용 유지
    volumes:
      - postgres_data:/var/lib/postgresql/data/
    # 데이터 베이스의 사용자명, 암호, 데이터베이스 명을 저장한 env파일 연결
    env_file:
      - ./.env.prod.db
volumes:
  postgres_data:
  # 위에서 언급한 volume nginx volume을 위해 추가
  static_volume:
  media_volume:

source code file 출처 : https://github.com/saintdragon2/do_it_django_a_to_z/blob/master/docker-compose.yml

nginx/Dockerfile

# 도커가 제공하는 nginx 사용하기
FROM nginx:latest
# 이 이미지 안의 default.conf에는 도커가 제공하는 Nginx의 기본 설정값이 있다. 
# rm을 통해서 삭제.
RUN rm /etc/nginx/conf.d/default.conf
# 삭제한 default.conf 대신 새로 생성한 설정 정보를 사용
COPY nginx.conf /etc/nginx/conf.d

nginx를 docker에서 사용하기 위한 설정이다. 

docker compose 명령어

docker-compose build
docker-compose --build # 이미지 실행시키면서 빌드
docker-compose up
docker-compose -f docker-compose.dev.yml up # 특정 docker compose file 실행
docker-compose up -d # 백그라운드에서 실행

docker-compose down # 실행중인 컨테이너 종료

docker-compose down -v # 컨테이너를 내리고 연결되어 있는 볼륨도 전부 삭제

Docker 확인

docker image ls # 도커 이미지 확인
docker container ls # 도커 컨테이너 확인

docker-compose logs # 로그 확인

Docker에서 명령어 실행

# docker-compose 명령을 이용해 현재 실행 중인 web 컨테이너에 접속해서 실행
docker-compose exec web python manage.py createsuperuser
docker-compose exec web python manage.py migrate