Python:Performance
고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁
- [추천] 고성능 ML 백엔드를 위한 10가지 Python 성능 최적화 팁 | Hyperconnect Tech Blog
- 상황에 따라 gc가 병목일 수 있다. 이런 경우 gc 발동 조건을 튜닝할 수 있다.
- Built-in list는 충분히 빠르지 않다. 필요시 array나 numpy를 사용하자.
- multiprocess는 커뮤니케이션 오버헤드가 높기에, low-latency 시나리오에서 조심히 사용해야한다.
- Pytorch를 multiprocess 환경에서 쓴다면 num_threads를 조정하자.
- Pydantic은 아주 느리다. 불필요한 곳에서 가급적 사용하지 말자.
- Pandas DataFrame은 생성에 많은 시간이 걸리므로, 유의해서 사용해야 한다.
- 바닐라 json 패키지는 느리다. orjson이나 ujson을 사용하자.
- Class는 충분히 빠르지 않을 수 있다. 너무 문제가 되면 dict를 사용하자.
- Python 3.11은 덜 느리다.
- (보너스) line profiler 사용법
See also
Favorite site