Nyheter i kommade Polopolyversion 9.13
2009-05-19 07:10 av Niklas Olsson
Den 7 juli släpper Polopoly version 9.13 och Polopolyforum satte sig återigen ned med Polopolys produktchef Anders Weijnitz och gick igenom vad som kommer i nästa version men också hur han ser på resten av året. Så håll utkik efter fler bloggposter inom kort för att höra vad Anders pratade om förutom 9.13.
Bättre stöd för (sök)metadatadrivna delar på webbplatser
Vad är skillnaden kanske du undrar, publiceringsköer och annat har ju alltid haft möjligheten att vara baserade på metadatasökningar från Lucene? Jo, det stämmer, men många av Atex Polopolyskunder har de senaste åren märkt en drastisk ökning i metadatasökningar och Polopolys systemarkitektur har helt enkelt inte klarat av det förändrade beteendet, eftersom alla sökningar måste gå via backend.
Vad Polopoly gjort är att bygga in Apaches Enterprise Search Server Solr (byggd på Lucene), vilket har gett möjligheten för Polopoly att splitta upp fritextsökning från metadatasökning och lägga dem i olika index. Polopoly utnyttjar sedan Solrs möjlighet att distribuera sökindex till andra servrar, vilket gör att metadataindex från och med 9.13 kommer att finnas lokalt på alla frontmaskiner, och därmed klara att backendservern går ner. I och med det kommer också naturligtvis förfrågningarna till backendservern att minska drastiskt för webbplatser med mycket metadata frågor.
Så Lucene är autonomt nu?
Nej tyvärr inte, de index som distribueras till frontarna är ännu så länge bara de som innehåller metadata och inte de som möjligör fritextsökningar, så om er webbplats använder er av fritext sökning via Lucence så är ni fortfarande tvugna att gå via backendservern och hoppas att den är uppe.
Text-mining med ”Temis Luxid text mining engine”
Polopoly kommer via web services integrera Temis Luxid text mining engine. Temis är ett text mining program som ur texter kan plocka fram olika typer av entiteter så som personer, platser och företag. Till att börja med kommer Polopoly att vid sparning skicka sitt textinnehåll till Temis som skickar tillbaka metadata som den funnit i texterna. Temis är en produkt från Atex så stödet för svenska, är troligen inte hundraprocentigt ännu. Å andra sidan har OpenCalais inget stöd för svenska alls så bättre bör det bli.
Riktigt hur mycket integration som kommer att komma med Termis i 9.13 är i dagsläget lite oklart, Anders föklarade att produkten är kompetent men att kompetensen om Termis bland Polopolysutvecklare ännu är låg, så det kan bli så att delar av Termis integrationen kommer i senare 9.13.*-versioner.
Ändrad bildgenerering
För er som har mycket bilder på sajterna kommer ändringen av bildhanteringen som en bonus, förrut skapades och sparades alla bilder i olika versioner så som mobil, tumnaglar, etc. på backendservern. Detta är nu ändrat så att cm-servern ändast sparar orginalfilen och alla bildvarianter skapas och lagras på frontarna. Detta kommer potentiellt att spara mycket utrymme i databasen.
2009-05-19 15:01
Hej,
en liten rättelse. Atex OEM:ar texminingen från Temis. Produckten heter egentligen Luxid och företaget Temis. Mer info kan man hitta på http://www.temis.com/index.php?id=95&selt=1
Dynamisk generering av bildvarianter kommer att finnas med redan i 9.12.2 (den 9:e Juni), men måste då aktiveras manuellt. Det kommer att vara defaultbeteende från och med 9.13.0 (7:e Juli).
MVH/Anders
2009-05-19 15:30
Med Solr måste man i förväg definiera vilka fält som skall finnas med i indexet. I en Polopoly-installation är metadata lika för alla installationer medan övriga fält varierar mellan mallarna.
Två intressanta frågor:
1) Räknas Polopolys egna kategorier som metadata?
2) Går det att själv ändra i schema.xml i Solr och låta Policyn implementera ett interface likt DocumentBuilder för att på så sätt kunna lägga till egna fält?
2009-05-19 21:44
En kollega påpekade att det faktiskt går att använda dynamiska fält. Se http://wiki.apache.org/solr/SchemaXml...
2009-05-19 22:30
[...] Läs mer på Polopolyforum.se – Nyheter i kommande Polopolyversion 9.13 [...]
2009-05-20 09:42
Vad gäller frågan om Polopolys egna kategorier räknas som metadata så är svaret ja. Vi håller på att meka med det, så vi får se exakt om slutgiltig utformning, men för närvarande används följande schema.xml
MVH/Anders
2009-05-20 09:46
Ok det verkar som att XML inte går så bra att klistra in i kommentarer. Testar med klammrar istället. Föreställ er större- och mindreäntecken.
[field name="indexed" type="boolean" indexed="true" stored="false" required="true" /]
[field name="contentId" type="string" indexed="true" stored="true" required="true" /]
[field name="commitTime" type="long" indexed="true" stored="true" required="true" /]
[field name="publishingDate" type="long" indexed="true" stored="false" required="true" /]
[field name="page" type="string" indexed="true" stored="false" multiValued="true" /]
[field name="title" type="text" indexed="true" stored="false"/]
[field name="category" type="text_ws" indexed="true" stored="false" multiValued="true" omitNorms="true" termVectors="true" /]
//Anders
2009-05-20 09:47
@Anders Weijnitz: Vad innebär att Atex OEM:at Luxid för oss som kunder, kommer licensen att ingå i våra existerande licenser med Atex, eller behöver vi betala extra om vi vill använda oss av text-mining?
2009-05-20 11:26
Vet ej på rak arm. Skall försöka kolla upp.
2009-05-20 14:42
Atex Text Mining kommer att bli en tilläggsmodul med ett eget pris.
2009-05-29 14:28
Vilken version av solr är det som kommer ni anväder? 1.3 kommer stödjer endast replikering till fronterna via rsync. 1.4 som är inte släpte än har en java baseade replikering.
Tycker dock att det är rätt väg att gå!
2009-06-03 10:42
[...] custom anpassade Polopoly till den senaste Polopoly 9.1X (senaste version i skrivande stund är 9.13, osäkert vilken SVT siktar på). Ett mångårigt projekt som sysselsatt olika expertkonsulter [...]
2009-06-04 09:55
Brian: Vi har valt Solr 1.4 av precis samma anledning du anger.