Python - JSON(JavaScript Object Notation)
JSON 이란
- JSON은 간결하고 가벼운 데이터 교환 형식입니다.
- 사람이 읽고 쓰기 쉬우며, 기계가 구문 분석하고 생성하기 쉽습니다.
- 2001년 Douglas Crockford에 의해 처음 지정되었습니다.
- 당초에는 JavaScript 프로그래밍 언어의 하위 집합으로 설계되었지만, 현재는 언어에 독립적인 데이터 형식으로 사용됩니다.
사용 사례
- 웹 애플리케이션에서 브라우저와 서버 간에 데이터를 전송하는 데 널리 사용됩니다.
- 다양한 프로그래밍 언어에서 JSON 데이터를 쉽게 읽고 쓸 수 있습니다.
- REST API에서 데이터를 교환하는 표준 형식으로 자리 잡았습니다.
- NoSQL 데이터베이스(MongoDB 등)에서 데이터를 저장하는 형식으로 활용됩니다.
- 구성 파일, 로그 파일 등의 표현에도 사용될 수 있습니다.
다른 데이터 형식(XML, YAML 등)과의 비교
- XML: JSON보다 복잡하고 무거운 구조입니다. 태그를 사용하므로 가독성이 좋지 않습니다.
- YAML: JSON과 유사하지만 구문이 더 간결하고 가독성이 좋습니다. 하지만 JSON만큼 광범위하게 지원되지 않습니다.
‘json’ 모듈
파이썬 표준 라이브러리에 포함된 json 모듈을 사용하여 JSON 데이터를 처리할 수 있습니다.
- JSON 문자열을 인코딩/디코딩
- JSON 파일 읽기/쓰기 등의 기능을 제공합니다.
JSON 인코딩
파이썬 객체를 JSON 문자열로 변환하는 방법입니다.
# pip install json
import json
data = {
"name": "Alice",
"age": 25,
"is_student": False
}
json_string = json.dumps(data)
print(json_string)
JSON 디코딩
JSON 문자열을 파이썬 객체로 변환하는 방법입니다.
import json
json_string = '{"name": "Alice", "age": 25, "is_student": false}'
data = json.loads(json_string)
print(data)
JSON 파일 쓰기
JSON 파일을 쓰는 방법입니다.
import json
# JSON 파일 쓰기
data = {
"name": "Alice",
"age": 25,
"is_student": False
}
with open("data.json", "w") as file:
json.dump(data, file)
결과: data.json 파일에 아래 내용이 저장됩니다.
{"name": "Alice", "age": 25, "is_student": false}
JSON 파일 읽기
import json
# JSON 파일 읽기
with open("data.json", "r") as file:
data = json.load(file)
print(data)
결과: data.json 파일의 내용이 파이썬 객체로 변환되어 출력됩니다.
{'name': 'Alice', 'age': 25, 'is_student': False}
예외: ‘JSONDecodeError’
JSON 데이터를 파이썬 객체로 변환할 때 예외가 발생할 수 있습니다.
import json
# json_string = '{"name": "Alice", "age": 25, "is_student": false}'
json_string = '{"name": "Alice" "age": 25, "is_student": false}'
try:
data = json.loads(json_string)
print(data)
except json.JSONDecodeError as e:
print("JSONDecodeError:", e)
JSON과 웹 API
REST API와 JSON 데이터 전송
- RESTful API는 웹 서비스를 제공하는 가장 일반적인 방식 중 하나입니다.
- JSON은 REST API에서 데이터를 전송하는 주요 형식으로 사용됩니다.
- API 클라이언트와 서버 간에 JSON 형태로 데이터를 교환합니다.
- JSON은 가볍고 구조화된 데이터 표현 방식이므로 API 통신에 적합합니다.
requests 라이브러리를 이용한 JSON API 호출
- requests는 파이썬에서 HTTP 요청을 보내는 인기 있는 라이브러리입니다.
- JSON API를 호출하고 응답 데이터를 처리하는 데 유용합니다.
GET 요청 예시
import requests
# requests test - https://pythonscraping.com/pages/page3.html
# json api test - https://api.sampleapis.com/beers/ale
response = requests.get('https://api.example.com/data')
data = response.json()
print(data)
POST 요청 예시 (JSON 데이터 전송)
import requests
data = {'name': 'John', 'age': 30}
headers = {'Content-Type': 'application/json'}
response = requests.post('https://api.example.com/user', json=data, headers=headers)
print(response.json())
- requests 라이브러리를 사용하면 URL 파라미터, 헤더, 인증 등을 쉽게 설정할 수 있습니다.
- 응답 데이터는 .json() 메서드를 호출하여 JSON 객체로 변환할 수 있습니다.
JSON은 웹 API 개발에서 데이터 전송 표준으로 자리잡았습니다. requests 라이브러리를 활용하면 파이썬에서 손쉽게 JSON API를 호출하고 데이터를 주고받을 수 있습니다.
JSON과 데이터베이스
MongoDB와 JSON 데이터 저장
- MongoDB는 대표적인 NoSQL 문서 데이터베이스입니다.
- MongoDB는 JSON 객체와 유사한 BSON(Binary JSON) 형식으로 데이터를 저장합니다.
- Python에서 pymongo 라이브러리를 사용하여 MongoDB와 상호작용할 수 있습니다.
pymongo 라이브러리를 이용한 JSON 데이터 삽입
# pip install pymongo
import pymongo
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['mydatabase']
collection = db['users']
user = {'name': 'John', 'age': 30, 'city': 'New York'}
result = collection.insert_one(user)
print(result.inserted_id)
JSON과 매우 유사한 딕셔너리 형태로 데이터를 저장하고 조회할 수 있습니다.
JSON 스키마란?
- JSON 스키마는 JSON 데이터의 구조와 형식을 정의하는 규칙 집합입니다.
- JSON 데이터가 특정 스키마를 따르는지 검증하고 유효성을 확인할 수 있습니다.
- 스키마에는 데이터 타입, 필수 필드, 범위 제약 조건 등이 지정될 수 있습니다.
- JSON 스키마를 사용하면 잘못된 JSON 데이터로 인해 발생할 수 있는 오류를 방지할 수 있습니다.
JSON 스키마 검증
jsonschema는 파이썬에서 JSON 스키마를 다루기 위한 인기 있는 라이브러리입니다. 스키마를 정의하고 JSON 데이터를 스키마에 대해 검증할 수 있습니다.
# pip install jsonschema
import jsonschema
schema = {
"type": "object",
"properties": {
# "name": {"type": "number"}, 로 변경하면 예외 발생
"name": {"type": "string"},
"age": {"type": "number"},
"city": {"type": "string"}
},
"required": ["name", "age"]
}
# data = {"name": "John", "age": 30}
data = {"name": "John", "age": "30"}
try:
jsonschema.validate(instance=data, schema=schema)
print("JSON data is valid")
except jsonschema.exceptions.ValidationError as e:
print(f"JSON data is invalid: {e.message}")
JSON 고급
이 부분(JWT 제외)은 저도 직접 해 보지 않았습니다. 필요할 때를 대비하여 기록해 두었습니다.
JSON과 병렬 처리
- 대규모 JSON 데이터를 처리할 때 병렬 처리를 활용하면 성능을 향상시킬 수 있습니다.
- Python의 다중 프로세싱 또는 다중 스레딩을 사용하여 JSON 데이터를 분할하고 병렬로 처리할 수 있습니다.
- 예를 들어, 여러 개의 큰 JSON 파일을 동시에 읽어와 처리하거나, 웹 API에서 가져온 JSON 데이터를 병렬로 파싱할 수 있습니다.
JSON과 지연 로딩
- 매우 큰 JSON 데이터를 한 번에 모두 메모리에 로드하는 것은 비효율적일 수 있습니다.
- 지연 로딩(lazy loading) 기법을 사용하면 필요한 부분만 로드하고 나머지는 나중에 필요할 때 로드할 수 있습니다.
- Python의 제너레이터나 반복자를 활용하여 JSON 데이터를 스트리밍 방식으로 처리할 수 있습니다.
- 대용량 JSON 데이터를 효율적으로 다루는 데 도움이 됩니다.
JSON Web Token (JWT)
- JWT는 JSON 기반의 토큰 형식으로, 인증과 권한 부여에 주로 사용됩니다.
- JWT는 Header, Payload, Signature 세 부분으로 구성되며, 모두 Base64URL 인코딩된 JSON 데이터입니다.
- Python에서는 PyJWT 라이브러리를 사용하여 JWT를 생성, 검증, 디코딩할 수 있습니다.
- JWT는 웹 애플리케이션, 모바일 앱, 마이크로서비스 등에서 인증 방식으로 널리 사용됩니다.
예제
데이터 다루기
import json
# JSON 문자열을 Python 객체로 변환
json_str = '{"name": "Alice", "age": 25, "city": "New York"}'
data = json.loads(json_str)
print(data)
print(data["name"])
# Python 객체를 JSON 문자열로 변환
person = {"name": "Bob", "age": 30, "city": "London"}
json_str = json.dumps(person)
print(json_str)
# JSON 파일 읽기/쓰기
with open("data.json", "w") as f:
json.dump(person, f, indent=4)
with open("data.json", "r") as f:
data = json.load(f)
print(data)
JSON API 호출
import requests
# GET 요청: 실제 서비스 되고 있지 않은 URL입니다.
response = requests.get("https://api.example.com/users")
data = response.json()
print(data)
# POST 요청
headers = {"Content-Type": "application/json"}
payload = {"name": "Charlie", "age": 35}
response = requests.post("https://api.example.com/users", headers=headers, json=payload)
print(response.json())
MongoDB와 상호작용
import pymongo
client = pymongo.MongoClient("mongodb://localhost:27017/")
db = client["mydatabase"]
collection = db["users"]
user = {"name": "David", "age": 40, "city": "Paris"}
result = collection.insert_one(user)
print(result.inserted_id)
해시태그: #Python #JSON #dumps #loads #dump #load #requests #jsonschema #JWT #API #MongoDB
댓글남기기