[Javalist] nagy méretű XML-ek feldolgozása

[Gábor Garami]

Oke, en akkor unortodox leszek. Eszembe se jutna Java-t hasznalni
ekkora XML-ekre.

A feldolgozast mindenkeppen valami alacsonyabb szinten kezdenem meg,
peldaul valami scriptrendszerrel feldarabolnam, vagy egybol (NoSQL)
adatbazisba tennem az adatokat, gyakorlatilag egy-az-egyben lekepezve
az XML strukturat, es Javabol mar az ily modon elofeldolgozott
adatokon iteralnek vegig, es processzalnam fel a business logic
szerint. A lenyeg, hogy minel kisebb overhead legyen egy ekkora fajl
feldolgozasakor. Ha lehet eliminalni a Java VM overheadjet, tegyuk
meg. Ha van olyan scriptnyelv, aminek kicsi a footprintje, tegyuk meg.

A SOAP interfesz itt csak annyit tenne, hogy lerakna valahova a kapott
XML-t (egyaltalan, miert kell ehhez SOAP? Ez sima HTTP upload, a SOAP
itt felesleges overhead), meg generalna batch ID-t, ahogy Peti is
irta.
Garami Gábor
E-mail: gabor.garami at hron.me
Tel: +36 20 235 9621
MSN: hrgy at vipmail.hu
Skype: hron84


2014-08-11 11:10 GMT+02:00 Peter Verhas <peter.verhas at gmail.com>:
> Mindenképpen aszinkron szolgáltatást csinálnék, tehát amikor megkapom az
> xml-t akkor csak annyit mond a szerviz, hogy OK, majd feldolgozom, és itt
> egy batch ID.
>
> És csinálnék benchmarkokat. És sok memóriát kérnék a gépbe, minimum 8GB-ot.
> Nem akarnék magam parsolni.
>
> És mindenképpen Java-t használnék :-)
>
> Péter
>
>
> On Mon, Aug 11, 2014 at 10:38 AM, Cpt <cpt at freemail.hu> wrote:
>>
>>
>> Sziasztok,
>>
>>
>> a BA-k elkezdtek ijesztgetni, hogy egy olyan SOAP interface-t kell
>> fejleszteni, ami napi 1db cca. 1.8GB méretű XML-t kéne, hogy fogadjon, és
>> egy szofisztikált XSD-vel validáljon.
>>
>> Tekintsünk el attól, h alapjaiban el van vetélve a feladat. Nyilván kevés
>> lesz a memória, nyilván sokáig tart a feldolgozás, meg persze az
>> adatmennyiséget sem fogja senki és semmi áttekinteni. Nyilván valahogy
>> darabolni kell az adatot, nyilván ki kell iktatni mindenféle hálózati
>> timeout-ot, stb. stb. És vegyük komolyan. a most letett alapok úgyis jók
>> lesznek; és hogy működjön is, majd a BA-k iterálnak.
>>
>> Hogy érdemes kezelni nagy méretű XML-eket?
>>
>> Generálhatok a WSDL-ből CXF-fel interface osztályokat és ha Provider-t
>> implementálok, akkor legalább alapból van benne egy parszolás, és az XSD
>> validálást meg konfigurálhatóvá tenném. Vagy alacsonyabb szintű interface-t
>> lehetne készíteni, és akkor a parszolás is a kezemben lenne...
>>
>> Ti hogy kezdenétek hozzá?
>>
>>
>> köszi,
>> Gábor
>
>
>
> _______________________________________________
> Javalist mailing list
> Javalist at lists.javaforum.hu
> http://lists.javaforum.hu/mailman/listinfo/javalist
>