Thursday 24 August 2017

Front office trading system architecture


Keuangan Muka-ke-Kembali Sebagian besar bank yang menyediakan layanan perdagangan sekarang menyadari kebutuhan untuk menawarkan kepada pelanggan sistem front-trade keuangan terbaik untuk melengkapi infrastruktur kantor belakang mereka yang ada. Sistem front-end harus mudah digunakan dan fungsional kaya, sehingga bank dapat meningkatkan kepuasan dan retensi pelanggan. Karena tekanan persaingan, sistem semacam itu seringkali harus dilaksanakan dalam beberapa minggu untuk menunjukkan hasil nyata kepada nasabah perbankan. Untuk memaksimalkan penggunaan dan efisiensi front end pelanggan, harus terintegrasi sepenuhnya dengan sistem pembiayaan perdagangan back-office bank. Namun, membangun solusi trade finance end-to-end yang menggabungkan sistem front-end nasabah dan sistem back office bank adalah tugas yang menantang. Integrasi front-to-back dapat terbukti sulit karena sistem back-office warisan, yang seringkali tidak mampu menerima umpan real-time, memetakan masukan data oleh pelanggan, dan mendownload data yang dibutuhkan ke pelanggan. Kesuksesan bergantung pada pengembangan solusi front-to-back kelas dunia yang inovatif yang didukung oleh layanan pelanggan berkualitas dari vendor yang memiliki reputasi tinggi. Solusi Keuangan Perdagangan End-to-End Surecomp memberikan solusi pembiayaan perdagangan terpadu end-to-end yang terdiri dari sistem front-end dan back office terbaik di kelasnya. Di sisi belakang kantor bank, Surecomp menawarkan beberapa sistem, masing-masing ditargetkan untuk berbagai tingkat penggunaan, lokasi geografis dan infrastruktur TI. Di sisi pelanggan front-end, Surecomp menawarkan sistem single-unified J2EE terpadu yang terintegrasi penuh dengan semua sistem back-office Surecomps. Karena arsitekturnya yang sangat terbuka, sistem front-end juga mudah terintegrasi dengan sistem back-office pihak ketiga atau di rumah. Terlepas dari lokasi, ukuran, penyebaran operasi geografis, atau volume transaksi, Surecomp memiliki solusi pembiayaan perdagangan front-to-back yang memenuhi kebutuhan spesifik masing-masing dan setiap klien. Implementasi Surecomp mengapresiasi bahwa implementasi penuh dari sistem back-office dapat memakan waktu, sehingga menunda penyebaran solusi front-to-back. Bank, misalnya, mungkin memerlukan penyesuaian sistem. Selain itu, sistem harus dipasang, dikonfigurasikan ke praktik khusus bank, dihubungkan ke beberapa sistem internal, diuji dan dipindahkan ke produksi. Akibatnya, penerapan sistem back office Surecomps biasanya memakan waktu beberapa bulan. Namun tidak semua bank siap menunggu penyelesaian pelaksanaan back office sebelum meluncurkan layanan front-end pelanggannya. Itulah sebabnya Surecomp juga menyediakan versi stand-alone dari sistem front-end-nya, yang bisa diluncurkan sebagai solusi sementara hanya dalam beberapa minggu. Segera setelah selesai menjalankan produksi back-office, solusi terintegrasi dapat dilakukan di bank. Pendekatan end-to-end ini berarti bahwa bank-bank yang mengizinkan sistem back-office Surecomps bersama-sama dengan sistem front-endnya menghadapi tantangan integrasi tanpa sedikit pun. Solusi Akhir-ke-Akhir Manfaat Bank-bank di seluruh dunia yang telah menerapkan solusi trade finance front-to-back Surecomp sekarang menuai keuntungan. Mereka, bersama dengan pelanggan mereka, merangkul solusi end-to-end terintegrasi dengan antusias. Perspektif Bank Implementasi dan integrasi end-to-end yang cepat Dengan cepat mengurangi masukan data karena pemetaan data otomatis Perputaran transaksi yang lebih cepat ndash transaksi kompleks diselesaikan dalam hitungan menit Terbukti peningkatan volume bisnis karena kepuasan pelanggan meningkat ROI ndash sangat rendah serendah 6 bulan Perspektif Pelanggan 24 X 7 penggunaan sistem ndash no downtime Sangat cepatnya implementasi sistem front-end akses Internet dari lokasi manapun ndash tidak ada instalasi perangkat lunak Inisiasi pelanggan dari semua jenis transaksi trade finance Mudah organisasi portofolio dan manajemen melalui alat bantu multi bahasa Mengapa Surecomp Terbukti: Surecomprsquos Sistem trade finance sudah diimplementasikan di ratusan bank dan korporasi di seluruh dunia, termasuk bank-bank nasional, regional dan global utama. Berpengalaman: Surecomp telah aktif dalam industri perbankan trade finance sejak tahun 1987, dan telah memperoleh pengetahuan yang luas tentang praktik lokal dan regional. State-of-the-Art: solusi pembiayaan perdagangan mutakhir Surecomprsquos dikembangkan secara in-house oleh tim spesialis TI dan perbankan yang berdedikasi. Best-of-Breed: Sistem back-office dan front-end Surecomprsquos diakui secara luas sebagai penawaran terdepan di wilayah masing-masing. Perizinan Bank Paraguayan Utama Mengatasi Solusi Keuangan Perdagangan End-to-End Java Pasar Modal Derivatif sangat kompleks 8230 Lanskap peraturan dan teknologi yang berubah dengan cepat mengubah pasar keuangan. Beradaptasi dengan kondisi pasar baru ini sangat penting. Dodd-Frank dan EMIR adalah realitas baru dengan perdagangan elektronik, kliring wajib dan pelaporan perdagangan yang secara signifikan mempengaruhi operasi derivatif dan alur kerja. Perusahaan sisi penjualan harus secara akurat mencerminkan semua risiko pasar, kredit dan likuiditas dalam perhitungan harga dan manajemen risikonya. Meningkatnya kebutuhan modal yang didikte oleh Basel III memberikan tekanan tambahan terhadap profitabilitas. Calypso membuat mereka mudah. Platform back-to-back Calypsos lintas-aset untuk perdagangan, pemrosesan, manajemen risiko dan akuntansi disesuaikan untuk menangani semua aspek baru pasar derivatif yang dibuka dan OTC. Solusi kami memungkinkan pelanggan untuk memenuhi tuntutan industri yang terus berubah tanpa memerlukan perkembangan teknologi yang mahal. Paket terpadu dari solusi pengelolaan dan pengelolaan aset lintas-asetTrading Floor Architecture Arsitektur Lantai Dagang Ikhtisar Eksekutif Meningkatnya persaingan, volume data pasar yang lebih tinggi, dan tuntutan peraturan baru adalah beberapa kekuatan pendorong di balik perubahan industri. Perusahaan berusaha mempertahankan daya saing mereka dengan terus mengubah strategi trading mereka dan meningkatkan kecepatan trading. Arsitektur yang layak harus menyertakan teknologi terbaru dari domain jaringan dan aplikasi. Ini harus modular untuk menyediakan jalur yang dapat dikelola untuk mengembangkan setiap komponen dengan gangguan minimal pada keseluruhan sistem. Oleh karena itu arsitektur yang diusulkan oleh makalah ini didasarkan pada kerangka layanan. Kami memeriksa layanan seperti pesan latency ultra rendah, pemantauan latency, multicast, komputasi, penyimpanan, virtualisasi data dan aplikasi, ketahanan perdagangan, mobilitas perdagangan, dan thin client. Solusi untuk kebutuhan kompleks dari platform perdagangan generasi berikutnya harus dibangun dengan pola pikir holistik, melintasi batas-batas silo tradisional seperti bisnis dan teknologi atau aplikasi dan jaringan. Tujuan utama dokumen ini adalah untuk memberikan panduan untuk membangun platform perdagangan laten ultra-rendah sambil mengoptimalkan throughput mentah dan tingkat pesan untuk data pasar dan pesanan perdagangan FIX. Untuk mencapai hal ini, kami mengusulkan teknologi pengurangan latency berikut: Konektivitas antar-koneksiInfiniBand atau 10 Gbps berkecepatan tinggi untuk cluster perdagangan Bus olahpesan berkecepatan tinggi Akselerasi aplikasi melalui RDMA tanpa kode ulang aplikasi Pemantauan latency real-time dan arahan ulang Lalu lintas perdagangan ke jalur dengan latency minimum Tren Industri dan Tantangan Arsitektur perdagangan generasi mendatang harus merespons tuntutan peningkatan kecepatan, volume, dan efisiensi. Misalnya, volume pilihan data pasar diperkirakan akan berlipat ganda setelah diperkenalkannya opsi penny trading di tahun 2007. Ada juga tuntutan regulasi untuk eksekusi terbaik, yang memerlukan penanganan update harga pada tingkat yang mendekati 1M msgsec. Untuk pertukaran Mereka juga membutuhkan visibilitas terhadap kesegaran data dan bukti bahwa klien mendapatkan eksekusi sebaik mungkin. Dalam jangka pendek, kecepatan perdagangan dan inovasi adalah pembeda utama. Semakin banyak perdagangan ditangani oleh aplikasi perdagangan algoritmik yang ditempatkan sedekat mungkin dengan tempat eksekusi perdagangan. Sebuah tantangan dengan mesin perdagangan quotblack-boxquot ini adalah bahwa mereka menambah kenaikan volume dengan mengeluarkan perintah hanya untuk membatalkannya dan mengirimkannya kembali. Penyebab perilaku ini adalah kurangnya visibilitas ke tempat mana yang menawarkan eksekusi terbaik. Pedagang manusia sekarang adalah insinyur quotfinancial, mengutip kuquantquot (analis kuantitatif) dengan keterampilan pemrograman, yang dapat menyesuaikan model perdagangan dengan cepat. Perusahaan mengembangkan instrumen keuangan baru seperti derivatif cuaca atau perdagangan kelas lintas-aset dan mereka perlu menerapkan aplikasi baru dengan cepat dan dengan cara yang terukur. Dalam jangka panjang, diferensiasi kompetitif harus berasal dari analisis, bukan hanya pengetahuan. Para pedagang bintang di masa depan mengambil risiko, mencapai wawasan klien sejati, dan secara konsisten mengalahkan pasar (sumber IBM: www-935.ibmservicesusimcpdfge510-6270-trader. pdf). Ketahanan bisnis telah menjadi perhatian utama perusahaan perdagangan sejak 11 September 2001. Solusi di bidang ini berkisar dari pusat data yang berlebihan yang berada di berbagai wilayah geografis dan terhubung ke beberapa tempat perdagangan ke solusi pedagang virtual yang menawarkan pedagang listrik sebagian besar fungsi lantai perdagangan. Di lokasi terpencil Industri jasa keuangan adalah salah satu yang paling menuntut dalam hal persyaratan TI. Industri ini mengalami pergeseran arsitektur menuju Services-Oriented Architecture (SOA), layanan Web, dan virtualisasi sumber daya TI. SOA mengambil keuntungan dari peningkatan kecepatan jaringan untuk memungkinkan pengikatan dinamis dan virtualisasi komponen perangkat lunak. Hal ini memungkinkan terciptanya aplikasi baru tanpa kehilangan investasi pada sistem dan infrastruktur yang ada. Konsep ini berpotensi merevolusi cara integrasi dilakukan, memungkinkan pengurangan kompleksitas dan biaya integrasi yang signifikan (gigervasidownloadMerrilLynchGigaSpacesWP. pdf). Tren lain adalah konsolidasi server ke server data center server, sementara meja pedagang hanya memiliki ekstensi KVM dan klien ultra tipis (misalnya solusi blade SunRay dan HP). Jaringan Area Metro berkecepatan tinggi memungkinkan data pasar menjadi multicast di antara lokasi yang berbeda, yang memungkinkan virtualisasi lantai perdagangan. Arsitektur Tingkat Tinggi Gambar 1 menggambarkan arsitektur tingkat tinggi dari lingkungan perdagangan. Pabrik ticker dan mesin perdagangan algoritmik terletak di cluster perdagangan berkinerja tinggi di pusat data perusahaan atau di bursa. Pedagang manusia berada di area aplikasi pengguna akhir. Secara fungsional ada dua komponen aplikasi di lingkungan perdagangan perusahaan, penerbit dan pelanggan. Bus perpesanan menyediakan jalur komunikasi antara penerbit dan pelanggan. Ada dua jenis lalu lintas yang spesifik untuk lingkungan perdagangan: Informasi harga Market DataCarries untuk instrumen keuangan, berita, dan informasi nilai tambah lainnya seperti analisis. Ini searah dan sangat latency sensitif, biasanya disampaikan melalui multicast UDP. Hal ini diukur dalam updatessec. Dan di Mbps. Data pasar mengalir dari satu atau beberapa umpan eksternal, berasal dari penyedia data pasar seperti bursa saham, agregator data, dan ECN. Setiap provider memiliki format data pasar tersendiri. Data tersebut diterima oleh penangan umpan, aplikasi khusus yang menormalkan dan membersihkan data dan kemudian mengirimkannya ke konsumen data, seperti mesin harga, aplikasi perdagangan algoritmik, atau pedagang manusia. Perusahaan sisi penjualan juga mengirim data pasar ke klien mereka, perusahaan sisi beli seperti reksadana, hedge fund, dan manajer aset lainnya. Beberapa perusahaan penjual beli mungkin memilih untuk menerima umpan langsung dari bursa, mengurangi latensi. Gambar 1 Arsitektur Perdagangan untuk Side Side Side Beli Tidak ada standar industri untuk format data pasar. Setiap pertukaran memiliki format kepemilikan mereka. Penyedia konten keuangan seperti Reuters dan Bloomberg mengumpulkan beragam sumber data pasar, menormalisasi, dan menambahkan berita atau analisis. Contoh feed konsolidasi adalah RDF (Reuters Data Feed), RWF (Reuters Wire Format), dan Bloomberg Professional Services Data. Untuk memberikan data pasar latency yang lebih rendah, kedua vendor telah merilis umpan data pasar real-time yang kurang diproses dan kurang memiliki analisis: B-PipeWith Bloomberg B-Pipe, Bloomberg mengganti data pasar mereka dari platform distribusi mereka karena sebuah terminal Bloomberg Tidak diperlukan untuk mendapatkan B-Pipe. Wombat dan Reuters Feed Handlers telah mengumumkan dukungan untuk B-Pipe. Perusahaan mungkin memutuskan untuk menerima umpan langsung dari pertukaran untuk mengurangi latensi. Keuntungan dalam kecepatan transmisi bisa berkisar antara 150 milidetik hingga 500 milidetik. Umpan ini lebih kompleks dan lebih mahal dan perusahaan harus membangun dan memelihara pabrik ticker mereka sendiri (financetechfeaturedshowArticle. jhtmlarticleID60404306). Orders Perdagangan Trafik jenis ini membawa perdagangan yang sebenarnya. Ini bersifat bi-directional dan sangat latency sensitive. Hal ini diukur dalam messagessec. Dan Mbps. Perintah berasal dari sisi beli atau sisi menjual perusahaan dan dikirim ke tempat perdagangan seperti Exchange atau ECN untuk eksekusi. Format yang paling umum untuk transportasi pesanan adalah FIX (Financial Information eXchangefixprotocol. org). Aplikasi yang menangani pesan FIX disebut mesin FIX dan mereka berinteraksi dengan sistem manajemen pesanan (OMS). Pengoptimalan ke FIX disebut FAST (Fix Adapted for Streaming), yang menggunakan skema kompresi untuk mengurangi panjang pesan dan, pada dasarnya, mengurangi latency. FAST ditargetkan lebih pada penyampaian data pasar dan berpotensi menjadi standar. FAST juga bisa digunakan sebagai skema kompresi untuk format data pasar proprietary. Untuk mengurangi latensi, perusahaan dapat memilih untuk menetapkan Direct Market Access (DMA). DMA adalah proses otomatis untuk merutekan pesanan sekuritas secara langsung ke tempat eksekusi, oleh karena itu hindari intervensi oleh pihak ketiga (towergroupresearchcontentglossary. jsppage1ampglossaryId383). DMA membutuhkan koneksi langsung ke tempat eksekusi. Bus perpesanan adalah perangkat lunak middleware dari vendor seperti Tibco, 29West, Reuters RMDS, atau platform open source seperti AMQP. Bus perpesanan menggunakan mekanisme yang andal untuk menyampaikan pesan. Transportasi dapat dilakukan melalui TCPIP (TibcoEMS, 29West, RMDS, dan AMQP) atau UDPmulticast (TibcoRV, 29West, dan RMDS). Salah satu konsep penting dalam distribusi pesan adalah aliran kuottik, quot yang merupakan subkumpulan data pasar yang ditentukan oleh kriteria seperti simbol ticker, industri, atau sekumpulan instrumen keuangan tertentu. Pelanggan bergabung dengan grup topik yang dipetakan ke satu atau beberapa sub-topik untuk hanya menerima informasi yang relevan. Dulu, semua pedagang menerima semua data pasar. Pada arus lalu lintas saat ini, ini akan kurang optimal. Jaringan memainkan peran penting dalam lingkungan perdagangan. Data pasar dibawa ke lantai perdagangan dimana pedagang manusia berada melalui jaringan berkecepatan tinggi Kampus atau Metro Area. Ketersediaan tinggi dan latensi rendah, serta throughput yang tinggi, adalah metrik yang paling penting. Lingkungan perdagangan berperforma tinggi memiliki sebagian besar komponennya di peternakan server Data Center. Untuk meminimalkan latency, mesin perdagangan algoritmik perlu ditempatkan di dekat penangan umpan, mesin FIX, dan sistem manajemen pesanan. Model penyebaran alternatif memiliki sistem perdagangan algoritmik yang berada pada pertukaran atau penyedia layanan dengan konektivitas cepat ke banyak pertukaran. Model Deployment Ada dua model penyebaran untuk platform perdagangan berperforma tinggi. Perusahaan dapat memilih untuk memiliki perpaduan keduanya: Pusat Data perusahaan perdagangan (Gambar 2) Ini adalah model tradisional, di mana platform perdagangan penuh dikembangkan dan dikelola oleh perusahaan dengan tautan komunikasi ke semua tempat perdagangan. Latency bervariasi dengan kecepatan link dan jumlah hop antara perusahaan dan tempat-tempat. Gambar 2 Lokakarya Model Penyebaran Tradisional di tempat perdagangan (pertukaran, penyedia layanan keuangan (FSP)) (Gambar 3) Perusahaan perdagangan menyebarkan platform perdagangan otomatis sedekat mungkin ke tempat eksekusi untuk meminimalkan latensi. Gambar 3 Hosted Deployment Model Services-Oriented Trading Architecture Kami mengusulkan kerangka kerja yang berorientasi pada layanan untuk membangun arsitektur perdagangan generasi berikutnya. Pendekatan ini memberikan kerangka konseptual dan jalur implementasi berdasarkan modularisasi dan minimisasi antar-dependensi. Kerangka kerja ini memberi perusahaan metodologi untuk: Mengevaluasi keadaan mereka saat ini dalam hal layanan Memprioritaskan layanan berdasarkan nilai mereka ke bisnis Mengembangkan platform perdagangan ke negara yang diinginkan dengan menggunakan pendekatan modular Arsitektur perdagangan berperforma tinggi bergantung pada layanan berikut, sebagai Didefinisikan oleh kerangka arsitektur layanan yang ditunjukkan pada Gambar 4. Kerangka Kerja Arsitektur Layanan untuk Layanan Pesan Ultra-Low Latency High Performance Trading Layanan ini disediakan oleh bus olahpesan, yang merupakan sistem perangkat lunak yang memecahkan masalah menghubungkan banyak-ke - Banyak aplikasi Sistem terdiri dari: Satu set skema pesan yang telah ditentukan sebelumnya Sekumpulan pesan perintah umum Infrastruktur aplikasi bersama untuk mengirim pesan ke penerima. Infrastruktur bersama dapat didasarkan pada broker pesan atau pada model penerbitan langganan. Persyaratan utama untuk bus perpesanan generasi berikutnya adalah (sumber 29West): Terendah mungkin latency (misalnya kurang dari 100 mikrodetik) Stabilitas di bawah beban berat (misalnya lebih dari 1,4 juta pesan) Kontrol dan fleksibilitas (kontrol tingkat dan transportasi yang dapat dikonfigurasi) Ada Adalah upaya di industri untuk menstandardisasi bus pesan. Advanced Message Queuing Protocol (AMQP) adalah contoh standar terbuka yang diperjuangkan oleh J. P. Morgan Chase dan didukung oleh sekelompok vendor seperti Cisco, Envoy Technologies, Red Hat, TWIST Process Innovations, Iona, 29West, dan iMatix. Dua tujuan utama adalah menyediakan jalur yang lebih sederhana untuk dioperasikan antar aplikasi yang ada pada platform dan modularitas yang berbeda sehingga middleware dapat dengan mudah berevolusi. Dalam istilah yang sangat umum, server AMQP analog dengan server E-mail dengan setiap pertukaran bertindak sebagai agen transfer pesan dan setiap antrian pesan sebagai kotak surat. Bindings menentukan tabel routing di setiap agen transfer. Penerbit mengirim pesan ke agen transfer individual, yang kemudian mengarahkan pesan ke dalam kotak pesan. Konsumen mengambil pesan dari kotak surat, yang menciptakan model yang hebat dan fleksibel yang sederhana (sumber: amqp. orgtikiwikitiki-index. phppageOpenApproachWhyAMQP). Layanan Pemantauan Latensi Persyaratan utama untuk layanan ini adalah: Kerangka pengukuran sub-milidetik Jarak dekat dengan jarak pandang nyata tanpa menambahkan latency ke lalu lintas perdagangan Kemampuan untuk membedakan latency pemrosesan aplikasi dari latency transit jaringan Kemampuan untuk menangani tingkat pesan tinggi Menyediakan antarmuka program untuk Aplikasi perdagangan untuk menerima data latensi, sehingga memungkinkan mesin perdagangan algoritmik untuk menyesuaikan diri terhadap perubahan kondisi. Mengaitkan aktivitas jaringan dengan peristiwa aplikasi untuk tujuan pemecahan masalah Latensi dapat didefinisikan sebagai selang waktu antara saat pesanan perdagangan dikirim dan kapan pesanan dan akta yang sama diakui. Oleh pihak penerima. Mengatasi masalah latensi adalah masalah yang kompleks, memerlukan pendekatan holistik yang mengidentifikasi semua sumber latensi dan menerapkan teknologi yang berbeda pada lapisan sistem yang berbeda. Gambar 5 menggambarkan berbagai komponen yang dapat mengenalkan latency pada setiap lapisan tumpukan OSI. Ini juga memetakan setiap sumber latensi dengan solusi yang mungkin dan solusi pemantauan. Pendekatan berlapis ini dapat memberi perusahaan cara yang lebih terstruktur untuk menyerang masalah latensi, dimana masing-masing komponen dapat dianggap sebagai layanan dan diperlakukan secara konsisten di seluruh perusahaan. Mempertahankan ukuran akurat dari keadaan dinamis dari interval waktu ini melintasi rute alternatif dan tujuan dapat sangat membantu dalam keputusan perdagangan taktis. Kemampuan untuk mengidentifikasi lokasi penundaan yang tepat, baik di jaringan tepi pelanggan, pusat pemrosesan pusat, atau tingkat aplikasi transaksi, secara signifikan menentukan kemampuan penyedia layanan untuk memenuhi perjanjian tingkat layanan perdagangan mereka (SLA). Untuk sisi beli dan sisi penjualan, juga untuk sindikator pasar data, identifikasi cepat dan penghapusan kemacetan diterjemahkan langsung ke dalam peluang dan pendapatan perdagangan yang disempurnakan. Gambar 5 Arsitektur Manajemen Latency Peralatan Pemrograman Cisco Latent Latency Alat pemantau jaringan tradisional beroperasi dengan granulasi menit atau detik. Platform perdagangan generasi berikutnya, terutama yang mendukung perdagangan algoritmik, memerlukan latensi kurang dari 5 ms dan tingkat packet loss yang sangat rendah. Di LAN Gigabit, microburst 100 ms dapat menyebabkan 10.000 transaksi hilang atau terlalu tertunda. Cisco menawarkan kepada pelanggannya pilihan alat untuk mengukur latensi di lingkungan perdagangan: Manajer Mutu Bandwidth (BQM) (OEM dari Corvil) Manajer Solusi Kualitas Latency Monitoring (LDS) berbasis Cisco AON Manajer Kualitas Bandwidth Quality Manager (BQM) 4.0 adalah Produk manajemen kinerja aplikasi jaringan generasi berikutnya yang memungkinkan pelanggan memantau dan menyediakan jaringan mereka untuk tingkat kinerja latensi dan kerugian yang terkontrol. Sementara BQM tidak ditargetkan secara eksklusif pada jaringan perdagangan, visibilitas mikrosekalnya dikombinasikan dengan fitur penyediaan bandwidth yang cerdas membuatnya ideal untuk lingkungan yang menuntut ini. Cisco BQM 4.0 menerapkan seperangkat pengukuran lalu lintas yang dipatenkan dan dipatenkan dengan paten dan teknologi analisis jaringan yang memberikan visibilitas dan pemahaman pengguna yang belum pernah terjadi sebelumnya tentang bagaimana mengoptimalkan jaringan untuk kinerja aplikasi maksimal. Cisco BQM sekarang didukung pada keluarga produk dari Cisco Application Deployment Engine (ADE). Keluarga produk ADE Cisco adalah platform pilihan untuk aplikasi manajemen jaringan Cisco. Manfaat BQM Visibilitas mikro Cisco BQM adalah kemampuan untuk mendeteksi, mengukur, dan menganalisis latency, jitter, dan loss yang menginduksi aktivitas lalu lintas hingga tingkat granularitas mikrodetik dengan per resolusi paket. Hal ini memungkinkan Cisco BQM untuk mendeteksi dan menentukan dampak kejadian lalu lintas pada latency jaringan, jitter, dan loss. Kritis untuk lingkungan trading adalah BQM dapat mendukung pengukuran latency, loss, dan jitter satu arah untuk lalu lintas TCP dan UDP (multicast). Ini berarti laporan lancar untuk lalu lintas perdagangan dan umpan data pasar. BQM memungkinkan pengguna untuk menentukan kumpulan ambang yang komprehensif (terhadap aktivitas microburst, latency, loss, jitter, utilisasi, dll.) Pada semua antarmuka. BQM kemudian mengoperasikan capture paket latar belakang. Kapan pun terjadi pelanggaran ambang atau kejadian penurunan kinerja potensial lainnya, hal itu memicu Cisco BQM untuk menyimpan tangkapan paket ke disk untuk analisis selanjutnya. Hal ini memungkinkan pengguna untuk memeriksa secara lengkap lalu lintas aplikasi yang terkena dampak degradasi kinerja (quotthe victimquot) dan lalu lintas yang menyebabkan penurunan kinerja (quotthe culpritsquot). Hal ini dapat secara signifikan mengurangi waktu yang dihabiskan untuk mendiagnosis dan menyelesaikan masalah kinerja jaringan. BQM juga mampu memberikan rekomendasi provisioning kebijakan bandwidth dan kualitas yang terperinci (QoS), dimana pengguna dapat langsung menerapkannya untuk mencapai kinerja jaringan yang diinginkan. Pengukuran BQM Ilustrasi Untuk memahami perbedaan antara beberapa teknik pengukuran yang lebih konvensional dan visibilitas yang diberikan oleh BQM, kita dapat melihat beberapa grafik perbandingan. Pada grafik pertama (Gambar 6 dan Gambar 7), kita melihat perbedaan antara latency yang diukur oleh MQS Passive Network Quality Monitor (PNQM) dan latency yang diukur dengan menyuntikkan paket ping setiap 1 detik ke arus lalu lintas. Pada Gambar 6. kita melihat latensi yang dilaporkan oleh paket ping ICMP 1 detik untuk lalu lintas jaringan sesungguhnya (dibagi dengan 2 untuk memberikan perkiraan penundaan satu arah). Ini menunjukkan penundaan dengan nyaman di bawah sekitar 5ms hampir sepanjang waktu. Gambar 6 Latency Dilaporkan oleh Paket Ping ICMP 1-Kedua untuk Lalu Lintas Jaringan Real Pada Gambar 7. kita melihat latensi yang dilaporkan oleh PNQM untuk lalu lintas yang sama pada waktu yang sama. Di sini kita melihat bahwa dengan mengukur latency satu arah dari paket aplikasi yang sebenarnya, kita mendapatkan gambaran yang sangat berbeda. Di sini latency terlihat melayang sekitar 20 ms, dengan semburan sesekali jauh lebih tinggi. Penjelasannya adalah karena ping hanya mengirim paket hanya setiap detik, itu benar-benar kehilangan sebagian besar latensi lalu lintas aplikasi. Sebenarnya, hasil ping biasanya hanya mengindikasikan delay propagasi round trip daripada latensi aplikasi yang realistis di seluruh jaringan. Gambar 7 Latency yang Dilaporkan oleh PNQM untuk Lalu Lintas Jaringan Nyata Pada contoh kedua (Gambar 8), kita melihat perbedaan dalam pemuatan beban atau tingkat kejenuhan yang dilaporkan antara tampilan rata-rata 5 menit dan tampilan mikroburst 5 ms (BQM dapat melaporkan microbursts down Sekitar 10-100 nanosecond akurasi). Garis hijau menunjukkan rata-rata utilisasi rata-rata 5 menit menjadi rendah, mungkin sampai 5 Mbits. Plot biru tua menunjukkan aktivitas microburst 5ms yang mencapai antara 75 Mbits dan 100 Mbitss, kecepatan LAN efektif. BQM menunjukkan tingkat granularitas ini untuk semua aplikasi dan juga memberikan aturan provisioning yang jelas untuk memungkinkan pengguna mengendalikan atau menetralisir microburst ini. Gambar 8 Perbedaan Beban Pemuatan yang Dilaporkan Antara Tampilan Rata-rata 5 Menit dan Penerapan Microburst View BQM 5 Miliar di Jaringan Perdagangan Gambar 9 menunjukkan penyebaran BQM yang khas dalam jaringan perdagangan. Gambar 9 Penerapan BQM Khas dalam Jaringan Perdagangan BQM kemudian dapat digunakan untuk menjawab jenis pertanyaan ini: Apakah ada tautan inti Gigabit LAN saya yang jenuh lebih dari X milidetik Apakah ini menyebabkan kerugian Tautan mana yang paling diuntungkan dari peningkatan versi ke Etherchannel atau 10 Gigabit kecepatan Apa lalu lintas aplikasi yang menyebabkan saturasi 1 link Gigabit saya Apakah ada data pasar yang mengalami kerugian end-to-end Berapa banyak latensi tambahan yang dimiliki oleh failover data center experience Apakah tautan ini berukuran benar untuk menangani microburst Apakah para pedagang saya Mendapatkan update latency rendah dari lapisan distribusi data pasar Apakah mereka melihat penundaan lebih besar dari X milidetik Mampu menjawab pertanyaan-pertanyaan ini secara sederhana dan efektif menghemat waktu dan uang dalam menjalankan jaringan perdagangan. BQM adalah alat penting untuk mendapatkan visibilitas di data pasar dan lingkungan perdagangan. Ini menyediakan pengukuran latensi end-to-end granular di infrastruktur kompleks yang mengalami pergerakan data bervolume tinggi. Mendeteksi ledakan mikroba secara efektif pada tingkat sub-milidetik dan menerima analisis ahli pada peristiwa tertentu sangat berharga bagi arsitek lantai perdagangan. Rekomendasi penyediaan bandwidth yang cerdas, seperti ukuran dan analisis bagaimana jika memberikan kelincahan yang lebih besar untuk merespons kondisi pasar yang mudah berubah. Seiring dengan meledaknya perdagangan algoritmik dan meningkatnya tingkat pesan, BQM, dikombinasikan dengan alat QoS-nya, memberikan kemampuan untuk menerapkan kebijakan QoS yang dapat melindungi aplikasi perdagangan penting. Solusi Pemantauan Latency Cisco Financial Services Cisco dan Trading Metrics telah berkolaborasi dalam solusi pemantauan latency untuk aliran pesanan FIX dan pemantauan data pasar. Teknologi Cisco AON adalah fondasi untuk kelas baru produk dan solusi tertanam jaringan yang membantu menggabungkan jaringan cerdas dengan infrastruktur aplikasi, berdasarkan arsitektur berorientasi layanan atau tradisional. Trading Metrics adalah penyedia perangkat lunak analisis untuk infrastruktur jaringan dan tujuan pemantauan latensi aplikasi (tradingmetrics). Solusi Pemantauan Latency Cisco AON Financial Services (FSMS) menghubungkan dua jenis peristiwa pada titik pengamatan: Peristiwa jaringan berkorelasi langsung dengan penanganan pesan aplikasi bersamaan Arus pesanan perdagangan dan peristiwa pembaruan pasar yang serasi Menggunakan stempel waktu yang diajukan pada titik penangkapan di Jaringan, analisis real-time dari aliran data berkorelasi ini memungkinkan identifikasi yang tepat mengenai kemacetan di seluruh infrastruktur saat perdagangan dijalankan atau data pasar didistribusikan. Dengan memantau dan mengukur latensi pada awal siklus, perusahaan keuangan dapat membuat keputusan yang lebih baik mengenai layanan jaringan dan mana perantara, pasar, atau mitra kerja untuk memilih pesanan perdagangan pesanan. Demikian juga, pengetahuan ini memungkinkan akses yang lebih efisien ke data pasar yang diperbarui (harga saham, berita ekonomi, dll.), Yang merupakan dasar penting untuk memulai, menarik diri dari, atau mengejar peluang pasar. Komponen solusinya adalah: Perangkat keras AON dalam tiga faktor bentuk: Modul Jaringan AON untuk router Cisco A00000000000000 untuk perangkat Cisco Catalyst 6500 series AON 8340 Appliance Trading Metrics MampA 2.0, yang menyediakan aplikasi pemantauan dan peringatan, menampilkan grafik latensi pada Sebuah dasbor, dan mengeluarkan peringatan saat terjadi kemunduran (tradingmetricsTMbrochure. pdf). Gambar 10 Pemantauan Latency FIX Berbasis AON Cisco IP SLA Cisco IP SLA adalah alat manajemen jaringan tertanam di Cisco IOS yang memungkinkan router dan switch untuk menghasilkan arus lalu lintas sintetis yang dapat diukur untuk latency, jitter, packet loss, dan kriteria lainnya (ciscogoipsla ). Dua konsep utama adalah sumber lalu lintas dan target yang dihasilkan. Keduanya menjalankan kuotasi IP SLA, quot yang memiliki tanggung jawab untuk menghitung arus lalu lintas kontrol sebelum bersumber dan dikembalikan oleh target (untuk pengukuran perjalanan pulang-pergi). Berbagai jenis lalu lintas dapat bersumber dalam IP SLA dan ditujukan pada berbagai metrik dan menargetkan berbagai layanan dan aplikasi. Operasi jitter UDP digunakan untuk mengukur delay satu arah dan round-trip dan variasi laporan. Karena lalu lintas adalah waktu yang dicap pada perangkat pengirim dan target yang menggunakan kemampuan responder, penundaan perjalanan pulang-pergi ditandai sebagai delta antara dua cap waktu. Fitur baru diperkenalkan di IOS 12.3 (14) T, Pelaporan Lapis Segmen IP SLA, yang memungkinkan cap waktu ditampilkan dengan resolusi dalam mikrodetik, sehingga memberikan tingkat granularitas yang sebelumnya tidak tersedia. Fitur baru ini sekarang membuat IP SLA relevan dengan jaringan kampus dimana latency jaringan biasanya berada pada kisaran 300-800 mikrodetik dan kemampuan untuk mendeteksi tren dan lonjakan (tren singkat) berdasarkan penghitung granularitas mikrodetik adalah persyaratan bagi pelanggan yang terlibat dalam waktu. - sensitif perdagangan elektronik lingkungan. Akibatnya, SLA IP sekarang dipertimbangkan oleh sejumlah besar organisasi keuangan karena semuanya menghadapi persyaratan untuk: Melaporkan latensi awal kepada pengguna mereka Melemahkan latensi dasar dari waktu ke waktu Menanggapi dengan cepat semburan lalu lintas yang menyebabkan perubahan pada latensi yang dilaporkan Sub - millisecond reporting is necessary for these customers, since many campus and backbones are currently delivering under a second of latency across several switch hops. Electronic trading environments have generally worked to eliminate or minimize all areas of device and network latency to deliver rapid order fulfillment to the business. Reporting that network response times are quotjust under one millisecondquot is no longer sufficient the granularity of latency measurements reported across a network segment or backbone need to be closer to 300-800 micro-seconds with a degree of resolution of 100 igrave seconds. IP SLA recently added support for IP multicast test streams, which can measure market data latency. A typical network topology is shown in Figure 11 with the IP SLA shadow routers, sources, and responders. Figure 11 IP SLA Deployment Computing Services Computing services cover a wide range of technologies with the goal of eliminating memory and CPU bottlenecks created by the processing of network packets. Trading applications consume high volumes of market data and the servers have to dedicate resources to processing network traffic instead of application processing. Transport processingAt high speeds, network packet processing can consume a significant amount of server CPU cycles and memory. An established rule of thumb states that 1Gbps of network bandwidth requires 1 GHz of processor capacity (source Intel white paper on IO acceleration inteltechnologyioacceleration306517.pdf ). Intermediate buffer copyingIn a conventional network stack implementation, data needs to be copied by the CPU between network buffers and application buffers. This overhead is worsened by the fact that memory speeds have not kept up with increases in CPU speeds. For example, processors like the Intel Xeon are approaching 4 GHz, while RAM chips hover around 400MHz (for DDR 3200 memory) (source Intel inteltechnologyioacceleration306517.pdf ). Context switchingEvery time an individual packet needs to be processed, the CPU performs a context switch from application context to network traffic context. This overhead could be reduced if the switch would occur only when the whole application buffer is complete. Figure 12 Sources of Overhead in Data Center Servers TCP Offload Engine (TOE)Offloads transport processor cycles to the NIC. Moves TCPIP protocol stack buffer copies from system memory to NIC memory. Remote Direct Memory Access (RDMA)Enables a network adapter to transfer data directly from application to application without involving the operating system. Eliminates intermediate and application buffer copies (memory bandwidth consumption). Kernel bypass Direct user-level access to hardware. Dramatically reduces application context switches. Figure 13 RDMA and Kernel Bypass InfiniBand is a point-to-point (switched fabric) bidirectional serial communication link which implements RDMA, among other features. Cisco offers an InfiniBand switch, the Server Fabric Switch (SFS): ciscoapplicationpdfenusguestnetsolns500c643cdccont0900aecd804c35cb. pdf. Figure 14 Typical SFS Deployment Trading applications benefit from the reduction in latency and latency variability, as proved by a test performed with the Cisco SFS and Wombat Feed Handlers by Stac Research: Application Virtualization Service De-coupling the application from the underlying OS and server hardware enables them to run as network services. One application can be run in parallel on multiple servers, or multiple applications can be run on the same server, as the best resource allocation dictates. This decoupling enables better load balancing and disaster recovery for business continuance strategies. The process of re-allocating computing resources to an application is dynamic. Using an application virtualization system like Data Synapses GridServer, applications can migrate, using pre-configured policies, to under-utilized servers in a supply-matches-demand process (wwwworkworldsupp2005ndc1022105virtual. htmlpage2 ). There are many business advantages for financial firms who adopt application virtualization: Faster time to market for new products and services Faster integration of firms following merger and acquisition activity Increased application availability Better workload distribution, which creates more quothead roomquot for processing spikes in trading volume Operational efficiency and control Reduction in IT complexity Currently, application virtualization is not used in the trading front-office. One use-case is risk modeling, like Monte Carlo simulations. As the technology evolves, it is conceivable that some the trading platforms will adopt it. Data Virtualization Service To effectively share resources across distributed enterprise applications, firms must be able to leverage data across multiple sources in real-time while ensuring data integrity. With solutions from data virtualization software vendors such as Gemstone or Tangosol (now Oracle), financial firms can access heterogeneous sources of data as a single system image that enables connectivity between business processes and unrestrained application access to distributed caching. The net result is that all users have instant access to these data resources across a distributed network (gridtoday030210101061.html ). This is called a data grid and is the first step in the process of creating what Gartner calls Extreme Transaction Processing (XTP) (gartnerDisplayDocumentrefgsearchampid500947 ). Technologies such as data and applications virtualization enable financial firms to perform real-time complex analytics, event-driven applications, and dynamic resource allocation. One example of data virtualization in action is a global order book application. An order book is the repository of active orders that is published by the exchange or other market makers. A global order book aggregates orders from around the world from markets that operate independently. The biggest challenge for the application is scalability over WAN connectivity because it has to maintain state. Todays data grids are localized in data centers connected by Metro Area Networks (MAN). This is mainly because the applications themselves have limitsthey have been developed without the WAN in mind. Figure 15 GemStone GemFire Distributed Caching Before data virtualization, applications used database clustering for failover and scalability. This solution is limited by the performance of the underlying database. Failover is slower because the data is committed to disc. With data grids, the data which is part of the active state is cached in memory, which reduces drastically the failover time. Scaling the data grid means just adding more distributed resources, providing a more deterministic performance compared to a database cluster. Multicast Service Market data delivery is a perfect example of an application that needs to deliver the same data stream to hundreds and potentially thousands of end users. Market data services have been implemented with TCP or UDP broadcast as the network layer, but those implementations have limited scalability. Using TCP requires a separate socket and sliding window on the server for each recipient. UDP broadcast requires a separate copy of the stream for each destination subnet. Both of these methods exhaust the resources of the servers and the network. The server side must transmit and service each of the streams individually, which requires larger and larger server farms. On the network side, the required bandwidth for the application increases in a linear fashion. For example, to send a 1 Mbps stream to 1000recipients using TCP requires 1 Gbps of bandwidth. IP multicast is the only way to scale market data delivery. To deliver a 1 Mbps stream to 1000 recipients, IP multicast would require 1 Mbps. The stream can be delivered by as few as two serversone primary and one backup for redundancy. There are two main phases of market data delivery to the end user. In the first phase, the data stream must be brought from the exchange into the brokerages network. Typically the feeds are terminated in a data center on the customer premise. The feeds are then processed by a feed handler, which may normalize the data stream into a common format and then republish into the application messaging servers in the data center. The second phase involves injecting the data stream into the application messaging bus which feeds the core infrastructure of the trading applications. The large brokerage houses have thousands of applications that use the market data streams for various purposes, such as live trades, long term trending, arbitrage, etc. Many of these applications listen to the feeds and then republish their own analytical and derivative information. For example, a brokerage may compare the prices of CSCO to the option prices of CSCO on another exchange and then publish ratings which a different application may monitor to determine how much they are out of synchronization. Figure 16 Market Data Distribution Players The delivery of these data streams is typically over a reliable multicast transport protocol, traditionally Tibco Rendezvous. Tibco RV operates in a publish and subscribe environment. Each financial instrument is given a subject name, such as CSCO. last. Each application server can request the individual instruments of interest by their subject name and receive just a that subset of the information. This is called subject-based forwarding or filtering. Subject-based filtering is patented by Tibco. A distinction should be made between the first and second phases of market data delivery. The delivery of market data from the exchange to the brokerage is mostly a one-to-many application. The only exception to the unidirectional nature of market data may be retransmission requests, which are usually sent using unicast. The trading applications, however, are definitely many-to-many applications and may interact with the exchanges to place orders. Figure 17 Market Data Architecture Design Issues Number of GroupsChannels to Use Many application developers consider using thousand of multicast groups to give them the ability to divide up products or instruments into small buckets. Normally these applications send many small messages as part of their information bus. Usually several messages are sent in each packet that are received by many users. Sending fewer messages in each packet increases the overhead necessary for each message. In the extreme case, sending only one message in each packet quickly reaches the point of diminishing returnsthere is more overhead sent than actual data. Application developers must find a reasonable compromise between the number of groups and breaking up their products into logical buckets. Consider, for example, the Nasdaq Quotation Dissemination Service (NQDS). The instruments are broken up alphabetically: This approach allows for straight forward networkapplication management, but does not necessarily allow for optimized bandwidth utilization for most users. A user of NQDS that is interested in technology stocks, and would like to subscribe to just CSCO and INTL, would have to pull down all the data for the first two groups of NQDS. Understanding the way users pull down the data and then organize it into appropriate logical groups optimizes the bandwidth for each user. In many market data applications, optimizing the data organization would be of limited value. Typically customers bring in all data into a few machines and filter the instruments. Using more groups is just more overhead for the stack and does not help the customers conserve bandwidth. Another approach might be to keep the groups down to a minimum level and use UDP port numbers to further differentiate if necessary. The other extreme would be to use just one multicast group for the entire application and then have the end user filter the data. In some situations this may be sufficient. Intermittent Sources A common issue with market data applications are servers that send data to a multicast group and then go silent for more than 3.5 minutes. These intermittent sources may cause trashing of state on the network and can introduce packet loss during the window of time when soft state and then hardware shorts are being created. PIM-Bidir or PIM-SSM The first and best solution for intermittent sources is to use PIM-Bidir for many-to-many applications and PIM-SSM for one-to-many applications. Both of these optimizations of the PIM protocol do not have any data-driven events in creating forwarding state. That means that as long as the receivers are subscribed to the streams, the network has the forwarding state created in the hardware switching path. Intermittent sources are not an issue with PIM-Bidir and PIM-SSM. Null Packets In PIM-SM environments a common method to make sure forwarding state is created is to send a burst of null packets to the multicast group before the actual data stream. The application must efficiently ignore these null data packets to ensure it does not affect performance. The sources must only send the burst of packets if they have been silent for more than 3 minutes. A good practice is to send the burst if the source is silent for more than a minute. Many financials send out an initial burst of traffic in the morning and then all well-behaved sources do not have problems. Periodic Keepalives or Heartbeats An alternative approach for PIM-SM environments is for sources to send periodic heartbeat messages to the multicast groups. This is a similar approach to the null packets, but the packets can be sent on a regular timer so that the forwarding state never expires. S, G Expiry Timer Finally, Cisco has made a modification to the operation of the S, G expiry timer in IOS. There is now a CLI knob to allow the state for a S, G to stay alive for hours without any traffic being sent. The (S, G) expiry timer is configurable. This approach should be considered a workaround until PIM-Bidir or PIM-SSM is deployed or the application is fixed. RTCP Feedback A common issue with real time voice and video applications that use RTP is the use of RTCP feedback traffic. Unnecessary use of the feedback option can create excessive multicast state in the network. If the RTCP traffic is not required by the application it should be avoided. Fast Producers and Slow Consumers Today many servers providing market data are attached at Gigabit speeds, while the receivers are attached at different speeds, usually 100Mbps. This creates the potential for receivers to drop packets and request re-transmissions, which creates more traffic that the slowest consumers cannot handle, continuing the vicious circle. The solution needs to be some type of access control in the application that limits the amount of data that one host can request. QoS and other network functions can mitigate the problem, but ultimately the subscriptions need to be managed in the application. Tibco Heartbeats TibcoRV has had the ability to use IP multicast for the heartbeat between the TICs for many years. However, there are some brokerage houses that are still using very old versions of TibcoRV that use UDP broadcast support for the resiliency. This limitation is often cited as a reason to maintain a Layer 2 infrastructure between TICs located in different data centers. These older versions of TibcoRV should be phased out in favor of the IP multicast supported versions. Multicast Forwarding Options PIM Sparse Mode The standard IP multicast forwarding protocol used today for market data delivery is PIM Sparse Mode. It is supported on all Cisco routers and switches and is well understood. PIM-SM can be used in all the network components from the exchange, FSP, and brokerage. There are, however, some long-standing issues and unnecessary complexity associated with a PIM-SM deployment that could be avoided by using PIM-Bidir and PIM-SSM. These are covered in the next sections. The main components of the PIM-SM implementation are: PIM Sparse Mode v2 Shared Tree (spt-threshold infinity) A design option in the brokerage or in the exchange.

No comments:

Post a Comment