SAP IQ (også kendt som SAP Sybase IQ og Sybase IQ) er en kolonneorienteret relationsdatabase, der bruges som business intelligence -software såvel som et datavarehus og datamarked . Udviklet af Sybase Inc. , nu ejet af SAP . Hovedfunktionen af Sybase IQ er at analysere big data til lave omkostninger, samt at skabe et højt tilgængeligt softwaremiljø. SAP IQ bliver ofte udråbt som pioneren inden for kommercielle søjlebaserede databaser .
SAP IQ er baseret på højtydende kolonneformet datalagringsteknologi, der øger hastigheden af datakomprimering og ad-hoc-forespørgselsudførelse uden yderligere konfiguration, samtidig med at den garanterer høj skalerbarhed og brug i cloud-tjenester. SAP IQ giver også mulighed for at udvikle intelligente applikationer baseret på det. SAP IQ bruges i analytiske databaser, intelligente klient - API'er , webteknologier.
Produktets historie går tilbage til 1993 med Boston-baserede Expressway Technologies, som udviklede en næste generations kolonneorienteret database (CDB) til behandling af komplekse analytiske forespørgsler, til sidst kaldet Sybase IQ. Sybase købte efterfølgende Expressway og genindførte denne CBD i 1995 som IQ Accelerator, snart omdøbt til Sybase IQ og nummereret 11.0 [1] . Ved at tilbyde sine IQ-produkter som en del af en samling af relaterede data warehouse-teknologier (herunder Sybase Adaptive Server Enterprise , Replication Server, PowerDesigner og SQL Anywhere), var Sybase en af de første virksomheder, der anerkendte behovet for at skabe specialiserede produkter i dataene lagermarked [2] . Fra og med version 12.0 har Sybase erstattet den løst koblede forespørgselsgrænseflade fra Adaptive Server Enterprise med den tæt koblede SQL Anywhere. Sybase IQ 16 har sat en ny verdensrekord for downloadhastighed af big data [3] .
SAP har foreslået en ny tilgang til datalagring, mere optimeret og forenklet - SAP In-Memory Data Fabric. [4] Denne arkitektur for datalagring i hukommelsen har en række fordele til brug i virksomhedens aktiviteter:
I modsætning til de fleste andre løsninger på markedet er SAP In-Memory Data Fabric-teknologi bygget fra bunden oven på moderne kolonneorienterede databaser, hvilket giver en infrastruktur med strategiske værktøjer til modellering, fjernadgang til data og højere ydeevne end blot at tilføje hukommelse eller søjleformet caching til eksisterende løsninger.
SAP IQ spiller en vigtig rolle i In-Memory Data Fabric, der muliggør datalagring i petabyte -skala .
Der er tre hovedfordele ved SAP IQ:
Anvendelsen af SAP IQ er meget bred: finansielle tjenester, telekommunikation, informationsudbydere, offentlige aktiviteter, detailhandel, bank.
Fra klientsiden ligner SAP IQ enhver anden DBMS , der bruger SQL-forespørgsler gennem ODBC / JDBC -grænseflader . Sybase IQ's interne funktioner er dog baseret på et kolonneorienteret DBMS, der lagrer datatabeller i kolonner frem for rækker som de fleste andre traditionelle databaser.
Kolonneorienteret arkitekturDen søjleorienterede enhed har en række fordele [5] . Hvis du leder efter elementer, der matcher en bestemt værdi i en kolonne med data, skal du kun få adgang til de objekter, der er gemt i den, selvom traditionelle databaser vil scanne hele tabellen fra top til bund. En anden fordel er dataindekseringsteknologien, som gør det muligt at indeksere al information, så storage-motoren har løsninger, der er acceptable for alle brugerønsker, samtidig med at den er en form for lagring og en måde at søge efter data på. Forøgelse af størrelsen på datasiden resulterer i mere effektiv komprimering og som et resultat yderligere ydeevneforbedringer. [6]
IndekseringFør SAP IQ 16 var hver dataside bygget som et cellearray med fast størrelse, så alle værdier var af samme datatype. Selvom denne datalagringstilgang er effektiv til strukturerede og fast-længde data, er det ikke bekvemt for de mere ustrukturerede og variabel-længde data, der er allestedsnærværende i dag. For at overvinde disse problemer med minimalt spildplads, består hver SAP IQ 16-side af celler i forskellige størrelser tæt pakket sammen; kolonnerne i et sådant lager understøtter et variabelt antal celler pr. side og forskellige dataformater. Når der skrives til disk, anvender SAP IQ Lempel-Ziv-Welch (LZW) [7] komprimeringsalgoritmen på hver side, hvilket reducerer mængden af skrevet data betydeligt. [8] Bitmaps bruges til sekundære indekser.
SAP IQ-arkitekturSAP IQ bruger en clustered grid-arkitektur bestående af SAP IQ - Multiplex-servere. Disse klynger er nødvendige for at forbedre ydeevnen, når der er mange samtidige eller komplekse forespørgsler. Alle computernoder interagerer med én delt hukommelse, mens forespørgsler kan udføres i enhver af dem. I en Sybase Multiplex-konfiguration er der én node - administratoren - som administrerer databasekataloget og koordinerer de transaktioner, der skrives til depotet. Andre noder kan skrive eller både læse og skrive som den koordinerende node. Denne arkitektur har mange applikationer. Arbejdsbelastningsbalancering opnås dynamisk gennem parallelle anmodninger om serveraktivitet. Noder kan automatisk skifte mellem sig selv - hvis en node har fuldført deltagelsen i anmodningen, vil de andre fortsætte det arbejde, der oprindeligt var tildelt den mislykkede node for at opfylde anmodningen. Fysiske noder i Sybase Multiplex kan grupperes sammen til "logiske servere", så de kan arbejde isoleret fra andre noder (f.eks. af sikkerhedsmæssige årsager eller afbalanceret ressourceallokering). Formålet med en sådan netarkitektur er at give maksimal stabilitet selv i udførelsen af globale transaktioner.
Framework og klient API'erSAP IQ implementerer API-forespørgsler baseret på rene ANSI SQL-standarder (med nogle begrænsninger), herunder OLAP og fuldtekstsøgning . Lagrede procedurer understøttes af både ANSI SQL og Transact-SQL og kan planlægges eller køres med det samme. Det er muligt at bruge en række databasedrivere fra programmeringssprog som Java , C/C++m, PHP , PERL , Python , Ruby , ADO.Net.
Håndtering af ustrukturerede forespørgslerUstruktureret forespørgselsbehandling udføres af en analytisk motor, der kan forespørge både strukturerede og ustrukturerede data og samle resultaterne af disse forespørgsler. SAP IQ har introduceret et nyt tekstindeks, og det er også muligt at lave specielle tekstindekser til forskellige binære former for tekstfiler for at udtrække de nødvendige data og udføre fuldtekstsøgning eller tekstanalyse.
SikkerhedSAP IQ tilbyder flere mekanismer, inkluderet i basisproduktet og licenseret separat, for at maksimere sikkerheden for brugerdata. SAP IQ version 16 bruger rollebaseret adgangskontrolpolitik . Derudover er yderligere sikkerhedsindstillinger tilgængelige, såsom FIPS -kryptering , Kerberos - godkendelse, LDAP -godkendelse og kolonnevis databasekryptering.
Lifecycle Management (ILM)Inden for ILM giver SAP IQ brugere mulighed for at oprette flere tabelbrugerområder (logiske lagerenheder/beholdere til databaseobjekter) for at organisere data. Dette kan bruges til at adskille strukturerede eller ustrukturerede data, gruppere data sammen baseret på alder og værdi eller opdele data i en tabel. Tablespaces kan markeres som skrivebeskyttet for at tillade engangskonsistenstjek og sikkerhedskopiering. En anden brug af ILM giver muligheden for at partitionere tabeller og distribuere disse dele på tværs af datalageret og i reserveblokke, hvilket giver mulighed for kontrol over lagerprocessen og skaber lagdelt datalager, der går fra hurtigere og dyrere lager til langsommere og billigere lagerbaseret om alderen og værdien af de lagrede oplysninger. .
Multiplex sikrer gendannelse efter katastrofe, skalerbarhed og høj tilgængelighed for compute noder, fordi admin node kan skifte til en alternativ koordinator node.
Datatilgængelighed og gendannelseSybase IQ Multilex-konfigurationen giver skalerbarhed og høj tilgængelighed for computerknudepunkter med en admin-node inkluderet i Multilex, som kan fejle over til en alternativ node.
SAP IQ Virtual Backup giver brugerne mulighed for hurtigt at sikkerhedskopiere data sammen med datareplikeringsteknologi. Når de virtuelle sikkerhedskopier er færdige, kan de testes med en test og gendannes; virksomhedsdata kan kopieres til udviklings- og testformål. SAP hævder, at disaster recovery er lettere, når man bruger en massivt parallel arkitekturtilgang . SAP Sybase PowerDesigner-modelleringsværktøjet giver brugerne mulighed for at bygge en ILM-model, der kan implementeres med SAP IQ og derefter definere lagertyper, tablespaces og livscyklusfaser.
SAP KontrolcenterSAP Control Center er et webbaseret grafisk administrations- og overvågningsværktøj. SAP Control Center kan bruges til at overvåge servere, ressourcer (knuder, multiplex) hvor som helst. Webapplikationen har en lagdelt plugin-arkitektur.
SAP IQ understøtter tilslutning af eksterne algoritmer skrevet i C++ og Java. SQL-forespørgsler kan bruge disse algoritmer til at udføre analyse i databasen for bedre ydeevne og skalerbarhed. Derudover giver Sybase IQ drivere til adgang gennem programmeringssprog som PHP, Perl, Python og Ruby On Rails.
SAP IQ understøtter de fleste større operativsystemer, herunder:
Sybase hævder, at Sybase IQ i øjeblikket er installeret på over 2.000 brugerwebsteder. Bemærkelsesværdige kunder omfatter comScore Inc [9] , CoreLogic, Investment Technology Group (ITG) [10] og US Internal Revenue Service (IRS) [11] .