오픈소스 프로젝트 검색
"데이터 파이프라인" 검색 결과 16건
SeaTunnel
Apache-2.0데이터베이스, 데이터 레이크, 메시징 시스템 간에 대규모로 데이터를 이동하고 변환하는 분산 데이터 통합 플랫폼입니다.
- 백엔드
Kestra
Apache-2.0데이터 파이프라인, ETL 작업, 비즈니스 워크플로를 스케줄링하고 오케스트레이션하는 YAML 기반 선언형 오케스트레이션 플랫폼입니다.
- 자동화
Prefect
Apache-2.0일반 Python 코드로 데이터 파이프라인을 구축, 스케줄링, 모니터링하는 Python 네이티브 워크플로 오케스트레이션 플랫폼입니다.
- 자동화
Beam
Apache-2.0여러 실행 엔진에 걸쳐 이식 가능하게 실행할 수 있는 배치·스트림 데이터 처리 파이프라인을 정의하기 위한 통합 프로그래밍 모델입니다.
- 분석
Vector
MPL-2.0로그, 메트릭, 트레이스를 수집·변환·라우팅하는 고성능 관측 가능성 데이터 파이프라인입니다.
- 모니터링
Apache Kafka
Apache-2.0데이터를 영구적이고 재생 가능한 로그로 저장하는 분산 이벤트 스트리밍 플랫폼으로, 전통적인 1:1 큐잉이 아니라 고처리량 실시간 파이프라인을 위해 만들어졌습니다.
- 백엔드
Argo Workflows
Apache-2.0파이프라인의 각 단계를 컨테이너로 실행하는 Kubernetes 네이티브 워크플로 엔진으로, 병렬 작업과 다단계 DAG를 클러스터 위에서 직접 오케스트레이션합니다.
- 자동화
Docling
MITPDF, Word 문서 등의 형식을 LLM과 RAG 파이프라인에 바로 사용할 수 있는 깔끔하고 구조화된 데이터로 변환하는 문서 파싱 라이브러리입니다.
- AI 및 머신러닝
Jenkins
MITCI/CD 파이프라인을 구축하고 소프트웨어 배포를 자동화하기 위한 대규모 플러그인 생태계를 갖춘, 널리 사용되는 오픈소스 자동화 서버입니다.
- DevOps
Kubeflow
Apache-2.0파이프라인, 모델 학습, 하이퍼파라미터 튜닝, 서빙을 하나의 툴킷으로 묶은 Kubernetes용 머신러닝 플랫폼입니다.
- AI 및 머신러닝
Open Policy Agent (OPA)
Apache-2.0마이크로서비스, API, Kubernetes, CI 파이프라인 전반에서 인가·컴플라이언스·설정 규칙을 코드로 일관되게 적용하는 범용 CNCF 졸업 정책 엔진입니다.
- DevOps
OpenTelemetry Collector
Apache-2.0애플리케이션에서 트레이스, 메트릭, 로그를 수집·가공해 어떤 관측 가능성(observability) 백엔드로든 내보낼 수 있는 벤더 중립적인 텔레메트리 파이프라인입니다.
- 모니터링
secureCodeBox
Apache-2.0애플리케이션과 인프라에 대해 여러 오픈소스 스캐너를 하나의 파이프라인에서 실행하는 보안 테스트 오케스트레이션 플랫폼입니다.
- 테스팅
Sensu
MIT모니터링 이벤트가 어떻게 처리되고 라우팅되는지를 팀이 완전히 제어할 수 있게 해주는 이벤트 기반 모니터링·관측 가능성 파이프라인입니다.
- 모니터링
Tekton
Apache-2.0CI/CD 파이프라인을 만들기 위한 Kubernetes 네이티브 구성 요소로, 팀에게 파이프라인을 Kubernetes 리소스로 정의하는 표준적이고 이식 가능한 방법을 제공합니다.
- DevOps
Woodpecker CI
Apache-2.0플러그인으로 확장 가능한 간단한 컨테이너 네이티브 CI/CD 엔진으로, 가벼운 서버·에이전트 사용량으로 파이프라인을 실행하도록 설계되었습니다.
- DevOps