高通量Miseq測序數據自動化過濾方法技術

本發明專利技術公開的高通量Miseq測序數據自動化過濾方法，具體包括如下步驟：1)輸入要進行分析的項目信息步驟；2)高通量測序數據與項目信息的匹配步驟；3)對相應項目的數據進行預處理步驟；4)對數據進行初步統計步驟。本發明專利技術的有益效果在于：基于Linux?shell的Illumina?Miseq數據自動化過濾流程，可進行批量數據過濾，提高數據處理效率和服務器使用效率，同時降低人為錯誤，便于判斷樣品數據量是否滿足分析要求。

Automated filtering method for high throughput Miseq sequencing data

The invention discloses a high-throughput Miseq sequencing data automatic filtering method includes the following steps: 1) input to analyze the project information; 2) steps, high-throughput sequencing data and project information; 3) corresponding to the project data pretreatment procedure; 4) preliminary statistics of data. The invention has the advantages that: Illumina Miseq Linux data filtering process automation based on shell, can be used for batch data filtering, data processing efficiency and improve the efficiency of the use of the server, while reducing human error, easy to determine whether the sample data meet the demand of analysis.

【技術實現步驟摘要】
高通量Miseq測序數據自動化過濾方法
本專利技術涉及分子生物學
，特別涉及IlluminaMiseq測序數據分析
，具體是指一種基于Linux跨服務器數據自動傳送的能力，以提高測序數據的分組效率的高通量Miseq測序數據自動化過濾方法，以減少人為因素對分析結果的影響。
技術介紹
高通量測序技術為人們利用分子生物學手段研究自然界的規律提供了更多可行性方案。目前眾多高通量測序技術都有相關的分析方法或分析流程作為參考幫助科研人員進行高通量數據處理。但是，目前常用IlluminaMiseq數據過濾過程中容易出現人為錯誤，因為過濾過程需要多個配置文件，各配置文件之間需要保持項目編號信息的一致性，如果是手動一步步操作，不僅耗費人力，還會出現數據和實際項目不匹配等人為錯誤，導致后續的數據出現錯誤。常用IlluminaMiseq數據過濾流程復雜，效率較低，當項目多、數據量大時一個個過濾數據會耗費大量時間。而且無法智能地處理不同批次數據，實際操作過程中一個項目可能會多次上機測序，這樣就會得到不同批次的數據，這些數據不能簡單的合并到一起進行處理，因為一旦其中一個批次的數據因為編號等問題出現錯誤都會導致后面所有的數據過濾都是徒勞。現在宏基因組、轉錄組、基因組等項目類型下機數據類型不同，人為手動操作時步驟復雜任務量繁重，只需要準備好相應的配置文件該自動化流程即可以實現對不同類型的項目下機數據進行高效率處理。一個項目編號可能對應多個子編號，一個編號也會有不同批次的數據，該自動化流程可以實現對不同類型數據的自動化過濾及數據統計。提高服務器使用效率，減少分析人員的分析壓力，便于控制分析內容。
技術實現思路
本專利技術的目的是針對目前常用IlluminaMiseq數據過濾過程中容易出現人為錯誤等問題而提供一種基于Linuxshell的高通量Miseq測序數據自動化過濾方法，該方法會自動對數據進行校驗，確保配置文件的一致性。為了實現上述目的，本專利技術所采用的技術方案如下：高通量Miseq測序數據自動化過濾方法，具體包括如下步驟：1)輸入要進行分析的項目信息步驟格式大致為一行表示一個項目的信息，前面幾列的元素分別為下機編號，合同編號，開題單號，測序平臺，樣品名稱，其中間隔符設置為制表符；2)高通量測序數據與項目信息的匹配步驟進入Linux環境，從存儲數據的服務器調取測序的下機數據，與原來的不同是將數據的下機編號與項目信息匹配；3)對相應項目的數據進行預處理步驟包括對于樣品名字的處理，去除引物和barcode，去嵌合體，以及質量過濾，隨后得到數據進行下面的統計分析；4)對數據進行初步統計步驟對得到的數據進行統計得到下機數據的基本信息，主要包括原始數據量大小、Reads的數量。本專利技術的有益效果在于：基于Linuxshell的IlluminaMiseq數據自動化過濾流程，可進行批量數據過濾，提高數據處理效率和服務器使用效率，同時降低人為錯誤，便于判斷樣品數據量是否滿足分析要求。附圖說明圖1為本專利技術的高通量Miseq測序數據自動化過濾方法流程圖。具體實施方式為了能夠更清楚地理解本專利技術的
技術實現思路
，特舉以下實施例詳細說明。請參閱圖1所示，為本專利技術的高通量Miseq測序數據自動化過濾方法流程圖。在具體實施方式中，該方法如圖1所示包括以下步驟：(1)輸入需要過濾的項目信息文件；(2)檢測文件信息是否滿足條件(格式是否正確)；(3)格式正確后，將對應項目數據進行任務分配；(4)查找項目的對應的數據，判斷是否存在，如果存在，傳送數據到對應的工作目錄進行下一步，如果不存在，相應信息會輸出在屏幕上，該項目對應的任務退出；(5)如果上述判斷未出現問題，開始進行數據流程分析，如果流程中局部出現問題，也會輸出相應信息，方便檢查。在實際應用中，本專利技術的方法所利用的工具包共包含1個Perl腳本代碼，腳本名稱如下：(1)MiSeq_DataFilter.pl這個腳本的代碼編寫基于Perl語言，可以在Linux、MacOS等多種類Unix系統平臺下使用。代碼運行過程中，耗費系統資源少，能夠在任意一臺個人PC、工作站和或服務器上進行使用。MiSeq_DataFilter.pl，主程序，以特定格式文件(第一列為下機編號，第二列為合同編號，第三列為開題單號，第四列為測序平臺，第五列為樣品名稱)作為輸入數據，通過調用其他的shell腳本以及自身的判斷，進行流程圖所示的過程。在應用過程中，上述腳本會返回一系列詳細的參數設置和對應的參數說明，指導數據分析人員正確使用這些方法。其中，參數分為兩種類型：必要參數和可選參數。必要參數要求由數據分析人員提供輸入值，無默認值。可選參數的默認值有預設值，分析人員也可以結合實際需求進行調整，具有靈活性。在此說明書中，本專利技術已參照其特定的實施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本專利技術的精神和范圍。因此，說明書和附圖應被認為是說明性的而非限制性的。本文檔來自技高網...

【技術保護點】
高通量Miseq測序數據自動化過濾方法，其特征在于，具體包括如下步驟：1)輸入要進行分析的項目信息步驟格式大致為一行表示一個項目的信息，前面幾列的元素分別為下機編號，合同編號，開題單號，測序平臺，樣品名稱，其中間隔符設置為制表符；2)高通量測序數據與項目信息的匹配步驟進入Linux環境，從存儲數據的服務器調取測序的下機數據，與原來的不同是將數據的下機編號與項目信息匹配；3)對相應項目的數據進行預處理步驟包括對于樣品名字的處理，去除引物和barcode，去嵌合體，以及質量過濾，隨后得到數據進行下面的統計分析；4)對數據進行初步統計步驟對得到的數據進行統計得到下機數據的基本信息，主要包括原始數據量大小、Reads的數量。

【技術特征摘要】
1.高通量Miseq測序數據自動化過濾方法，其特征在于，具體包括如下步驟：1)輸入要進行分析的項目信息步驟格式大致為一行表示一個項目的信息，前面幾列的元素分別為下機編號，合同編號，開題單號，測序平臺，樣品名稱，其中間隔符設置為制表符；2)高通量測序數據與項目信息的匹配步驟進入Linux環境，從存儲數據的服務器調取...

【專利技術屬性】
技術研發人員：劉書云，葉偉星，姜麗榮，孫子奎，
申請(專利權)人：上海派森諾生物科技股份有限公司，
類型：發明
國別省市：上海,31