Geliştirme Aşamasında

GenoStreamToolkit

Multi-Source Sequencing Data Access & Analysis-Readiness Audit Toolkit
Çok Kaynaklı Dizileme Verisi Erişim ve Analize Hazırlık Denetim Araç Seti

Kamuya Açık Dizileme Verilerinin Erişim, Aktarım ve Analize Hazırlık Süreçleri

Research and development for sequencing-data access, transfer integrity and analysis readiness.

Terminal · Google Colab · Jupyter    |    NARDO Biyoteknoloji · Araştırma ve Geliştirme
Geliştirme Arka Planı

GenoStream Toolkit’in Geliştirme Süreci

3Yıllık Uygulama Birikimi
9Aylık Ar-Ge ve İterasyon

GenoStream, kamuya açık dizileme verilerinin erişimden downstream analize kadar geçen hazırlık aşamalarında karşılaşılan teknik sorunlar üzerine geliştiriliyor.

Çalışma; veri keşfi, format seçimi, aktarım bütünlüğü, metadata sürekliliği ve analize hazırlık denetimi üzerinde yoğunlaşıyor.

Projenin ilk uygulama alanı, genomik ve metagenomik açık veri iş akışları oldu.

DNA Academy’deki biyoinformatik uygulama birikimi, NARDO Biyoteknoloji’nin genomik veri operasyonları ve 2. nesil dizileme (NGS) ile 3. nesil dizileme teknolojilerindeki deneyimi projenin geliştirme zeminini oluşturdu.

GenoStream Toolkit halen Ar-Ge, test ve iteratif geliştirme sürecinde ilerliyor.

Araştırma Problemi

ANALİZE HAZIRLIKVERİ ERİŞİMİYLE SINIRLI DEĞİL.

Kamuya açık bir dizileme dosyasının erişilebilir olması, analize hazır olduğu anlamına gelmiyor.

Veri Kabulü Ayrı Bir Teknik Aşama

Downstream analiz öncesinde dosya bütünlüğü, metadata yeterliliği, kaynak izi ve format uyumu birlikte kontrol ediliyor.

GenoStream bu kontrolleri veri erişimi ve aktarım süreciyle aynı iş akışında toplamak üzere geliştiriliyor.

Projenin odağı, analize giren verinin teknik durumunu ve kaynak izini açık tutmak.

GenoStream’in kapsamı veri erişimi, aktarım, bütünlük doğrulaması, metadata harmonizasyonu ve analize hazırlık denetimidir. Biyolojik yorum downstream analiz aşamasında kalır.
İş Akışı

GenoStream Veri İşleme Akışı

Veri KeşfiFiltrelemeFormat YönlendirmeVeri AktarımıBütünlük DoğrulamasıMetadataHazırlık Denetimi
01 / 07

Veri Keşfi

Çok Kaynaklı Veri Erişimi
ENA, MicrobeAtlas ve diğer veri kaynaklarındaki ham dizileme verileri ile metadata kayıtlarının sorgulanması ve proje kapsamına alınması.
ENAMicrobeAtlasAccessionOrganizmaÇalışma Stratejisi
02 / 07

Filtreleme

Hedef Veri Kümesi
Aday kayıtların yayın tarihi, okuma sayısı, baz sayısı, platform ve veri sınıfı gibi teknik alanlara göre ayrıştırılması.
Yayın TarihiOkuma SayısıBaz SayısıPlatformVeri Sınıfı
03 / 07

Format Yönlendirme

Dosya Formatı ve Öncelik Kuralları
FASTQ, BAM, CRAM ve SRA kayıtları arasında proje gereksinimine göre format önceliği ve alternatif veri erişim yollarının yönetimi.
FASTQBAMCRAMSRAFallbackStrict Format
04 / 07

Veri Aktarımı

Kesintiye Dayanıklı Aktarım
Büyük veri setleri için kesinti toleransı, yeniden deneme ve paralel aktarım desteği içeren veri transfer katmanı.
Smart ResumeParallel TransferError RecoveryHTTPS
05 / 07

Bütünlük Doğrulaması

Dosya Bütünlüğü Denetimi
İndirilen dosyaların bütünlük değerlerinin kaynak kayıtlarla karşılaştırılması ve uyumsuz dosyaların işaretlenmesi.
Kaynak MD5 = İndirilen Dosya MD5PASSFAIL
06 / 07

Metadata Harmonizasyonu

Metadata ve Kaynak İzi
Taksonomi, örnek, çalışma, kütüphane, cihaz, klinik, çevresel ve coğrafi metadata alanlarının ortak bir manifest yapısında bir araya getirilmesi.
40+ Metadata AlanıRunExperimentSampleStudy
07 / 07

Analize Hazırlık Denetimi

Teknik Durum ve Risk Kaydı
Dosya bütünlüğü, metadata yeterliliği ve teknik risklerin PASS, WARN ve FAIL durumlarıyla birlikte kaydedilmesi.

PASS

Kritik bütünlük veya metadata sorunu bulunmadı.

WARN

Analiz öncesinde gözden geçirilmesi gereken alanlar mevcut.

FAIL

Analizin güvenle başlatılmasını engelleyen kritik sorun tespit edildi.

Geliştirme Kapsamı

Mevcut Geliştirme Bileşenleri

01

Çok Kaynaklı Veri Erişimi

ENA ve MicrobeAtlas kaynakları üzerinden ham dizileme verisi ve metadata erişimi.

02

Format Yönlendirme

FASTQ, BAM, CRAM ve SRA için format önceliği ve alternatif erişim seçenekleri.

03

Kesintiye Dayanıklı Aktarım

Kesinti toleransı, yeniden deneme ve paralel aktarım desteği.

04

Bütünlük Doğrulaması

Kaynak ve indirilen dosya bütünlük değerlerinin karşılaştırılması.

05

Metadata Harmonizasyonu

Metadata alanlarının ortak manifest yapısında birleştirilmesi ve kaynak izinin korunması.

06

Analysis-Readiness Audit

Dosya bütünlüğü, metadata yeterliliği ve teknik riskler için PASS, WARN ve FAIL durum kaydı.

Teknik Kapsam

2. Nesil Dizileme (NGS) ve 3. Nesil Dizileme Verileri

2. Nesil Dizileme (NGS) Verileri

  • Illumina
  • Ion Torrent
  • FASTQ · BAM · CRAM · SRA

3. Nesil Dizileme Verileri

  • Oxford Nanopore
  • PacBio
  • FASTQ · BAM · CRAM · SRA
Çalışma Ortamları

Desteklenen Çalışma Ortamları

Terminal

Linux · macOS · Windows

Google Colab

Tarayıcı tabanlı çalışma ortamı.

Jupyter

Etkileşimli ve belgelenebilir çalışma akışları.

Proje Hedefi

Veri Erişimi ile Downstream Analiz Arasındaki Teknik Katman

GenoStream, veri kaynağından alınan dosyanın downstream biyoinformatik analize aktarılmadan önce geçtiği teknik kabul sürecine odaklanıyor.

  • Hedef Veri Setinin Belirlenmesi
  • Aktarım ve Format Kararlarının Kaydı
  • Dosya Bütünlüğünün Doğrulanması
  • Metadata Sürekliliğinin Korunması
  • Analiz Öncesi Teknik Risk Kaydı
  • Tekrar Üretilebilir Veri Kabul Süreci
Geliştirme Aşamasında

GenoStreamToolkit

GenoStream Toolkit halen Ar-Ge ve test sürecinde.

Multi-source sequencing data access and analysis-readiness audit toolkit.

NARDO Biyoteknoloji · Araştırma ve Geliştirme