SRAにAsperaを使ってデータをアップロードする

published: 2021/9/11 update: 2021/9/11

Table of Contents

TL;DR

httpやftpによるSRAへのデータアップロードは遅すぎるので、IBMのAspera Connectを使ってデータをアップロードしないと日が暮れます。初めてアップロードした時は、Webからは終わらず、ftpで一つずつアップロードするのはしんどかったのですが、Asperaを使うと思ったより快適にアップロードできました。難しいことは何もなく、scpの高速版という感じでした。 実際、NCBIのページを見ると、以下の様にAspera Connectを使うことが推奨されています。

Aspera Connect Fast and Secure Protocol (FASP) uses User Datagram Protocol (UDP) that eliminates and overcomes many shortcomings of other FTP clients and we recommend it for all medium to large submissions and slow or unreliable connections (especially from abroad).

Aspera Connectのインストール

Aspera ConnectはIBM Aspera Connectからダウンロードできます。Linuxを使っている場合の例を以下に示します。versionは更新されることがあるので、できるだけ最新版を使いましょう。

wget https://d3gcli72yxqn2z.cloudfront.net/connect_latest/v4/bin/ibm-aspera-connect_4.0.2.38_linux.tar.gz

tar -zxvf ibm-aspera-connect_4.0.2.38_linux.tar.gz
bash ibm-aspera-connect_4.0.2.38_linux.sh
​
export PATH=$PATH:$HOME/.aspera/connect/bin

パスを通すと、ascpコマンドが使えるようになっています。必要なら~/.profileなどに記入しておきます。

Fileのアップロード

RSA Private Keyが表示されるので、~/.aspera/keys/aspera_rsaとして保存します。アップロードしたいfastqはgz圧縮されている必要があります。upload先は、登録したemailから始まる指定されたものを使います。

your_submission_directory="<user@email.com_xxxxx"

ascp -i ~/.aspera/keys/aspera_rsa -QT -l 100m -k1 -d path/to/your_reads.fastq.gz subasp@upload.ncbi.nlm.nih.gov:uploads/${your_submission_directory}

記事に間違い等ありましたら、お気軽に以下までご連絡ください

E-mail: illumination.k.27|gmail.com ("|" replaced to "@")

Twitter: @illuminationK

当HPを応援してくれる方は下のリンクからお布施をいただけると非常に励みになります。

Ofuse

Other Articles

Site Map

Table of Contents

    TL;DR

    Aspera Connectのインストール

    Fileのアップロード


当HPを応援してくれる方は下のリンクからお布施をいただけると非常に励みになります。

Ofuse
Privacy Policy

Copyright © illumination-k 2020-2021.