Spotlight, die “Realtimesuche” von OS X für Dateien, Programme und alles was man sonst noch auf einem gemounteten Gerät speichert, ist sehr größzügig wenn es um die zum Teil privaten Daten geht, die es in seinem Index führt. Bis hin zu E-Mailheadern, die ganz plötzlich auf fremden USB Sticks oder dem SMB-Share der Firma landen.

Wer es ausführllich mag: nur zu, das komplette Dokument gibt’s hier.

Bisher haben uns Firmen wie naan studios (Echofon) und atebits (Tweetie) vertröstet mit einem selbstgebackenen Sync zwischen mobiler Anwendung und Desktop-Client, der bald kommen sollte – aber bisher kam noch nichts überzeugendes – Echofon synct zwar, ist aber noch nicht aus der Beta raus.

Was ist so schwer daran, wenn ich mal ganz naiv fragen darf? Und warum muss da jeder seine eigene Lösung für das Problem finden? Warum muss ich dann bei der Wahl meiner Anwendungen Desktop- und Mobile-Anwendung vom gleichen Hersteller nehmen, wenn ich vielleicht mischen möchte? (Tweetie auf dem iPhone und Echofon auf dem Mac, o. ä.)
Ich habe mir eine mögliche Lösung überlegt, die noch nichtmal eine Änderung seitens der Twitter-API erfordert. Wenn irgendjemand da draußen ein Grund einfällt, warum man das Twitter-Sync Problem nicht so lösen sollte oder könnte, würde ich das wirklich gerne hören.

Machen wir uns einmal zunutze, dass jeder Tweet und jede Direktnachricht (DM) einen unique identifier (UID) hat – die UID hatte zur Twitpocalypse einen kurzen Augenblick im Rampenlicht. Wichtig an dieser UID ist, dass sie inkrementell vergeben wird und zwar zeitabhängig. Wenn ich zwei Tweets vergleiche kann ich an ihrer UID sehen, welcher als erstes und welcher als zweites verschickt wurde. Im Moment liegt diese UID irgendwo um die 6.300.000.000 (siehe http://www.twitpocalypse.com/). Nun ist es von entscheidender Bedeutung, dass unsere Synchronisierung schlank ist, also sollen die übertragenen Daten möglichst klein sein.
Als Integer kann man die UID schon nicht mehr behandeln, deswegen stecken wir sie einfach in einen string (Zeichenkette), in der jedes Zeichen ein Byte groß ist. Im Moment kämen wir mit 10 Byte pro UID aus, sagen wir mal 16 Byte, damit wir für die Zukunft gerüstet sind.

Wir machen uns nun weiter zunutze, dass Tweets in einer zeitlichen Reihenfolge bei den Clients eintreffen (also mit immer steigender UID) und sie in der gleichen Reihenfolge auch gelesen werden. Dies gilt nicht nur für die eigene Timeline, sondern auch für Mentions und Direktnachrichten.

Jetzt legen wir mal eine mini-Datenbank an. Diese Datenbank besteht aus mehreren Einträgen, die einem Bezeichner eine UID zuordnen. Diese UID spezifiziert den letzten gelesenen Tweet. Also brauchen wir einen Eintrag für die persönliche Zeitleiste (und vielleicht noch jede gespeicherte Suche) und einen für die Mentions, denn es kann ja sein, dass man eine Mention von jemandem kriegt, den man nicht in seiner Zeitleiste hat. Jetzt brauchen wir noch einen Eintrag für jede DM-Konversation und fertig ist der Lack.
Für den Bezeichner reichen 15 Byte, da Twitter nur Benutzernamen von maximal 15 Zeichen zulässt. In einer Datenbank benötigt man dann noch ein spezielles Zeichen, um Bezeichner und Wert voneinander zu trennen, also kommen wir auf 15+1+16 = 32 Byte pro Eintrag.

Weil ich vorhin von Schlankheit gesprochen habe, seien hier ein paar theoretische Größen für die Datenbank gegeben, die sich folgendermaßen berechnen lassen: (2+n)*32 wobei n die Anzahl der DM-Konversationen und der gespeicherten Suchen ist. Jeder Benutzer braucht mindestens 2 Einträge, einmal für die Timeline und einmal für die Mentions.

• minimale Größe (n=0): 64 Byte
• n=100: 3,19 KB
• n=500: 15,69 KB
• n=1.000: 31,31 KB
• n=10.000: 312,56 KB
• n=100.000: 3,05 MB

Man müsste schon eine Twitter-Berühmtheit sein, die von jedem seiner Follower mindestens eine DM bekommen hat, damit diese Datenbank eine bemerkenswerte Größe annimmt.
Mit ein paar Kniffen wie time-to-live für DM-Einträge und Kompression ließe sich das sicher noch schlanker machen, aber alles in allem wären die Übertragungskosten sehr gering.

Einziges Problem bei dieser Lösung ist das Lagern dieser Datenbank. Der optimale Ort wäre Twitter selbst, somit wäre der Zugriff am einfachsten und die Einträge wären vor unbefugter Änderung geschützt.
Aber rein theoretisch könnte man diese Datenbank hinlegen wo man möchte (Dropbox vielleicht?) – so lange jeder Client eine Möglichkeit hat, den Ort der Datenbank einzutragen und so lange die Datenbank vor unberechtigten Zugriffen geschützt ist.

Schon haben wir einen Twitter-Sync, der nicht nur cross-Platform sondern auch cross-Client und cross-Entwickler funktionieren kann – und twitter.com musste nichtmal einen Finger krumm machen (es sie denn, sie besäßen die Güte, die Datenbanken bei sich zu lagern)!
Wenn jetzt ein Twitter-Client gestartet wird, läd er sich die Datenbank des Benutzers herunter und läd, wie gewohnt, die letzten Tweets. Anstatt aber so zu tun als wären alle geladenen Tweets neu, würde der Client in der Datenbank nachschauen, welcher Tweet beispielsweise in der Timeline zuletzt gelesen wurde und würde dann zu diesem Tweet scrollen. Gleiches würde dann bei den Mentions und den DMs passieren.
Ähnlich einem Mail-Programm könnte eine Synchronisierung mit der Online-Datenbank alle paar Minuten, spätestens aber bei Programm-Start und -Ende erfolgen. Selbst wenn ich auf iPhone und Mac parallel lese und schreibe wäre eine Konfliktbehandlung trivial: die größere UID gewinnt.

Soviel zu meinen Überlegungen. Und jetzt nochmal die Frage vom Anfang: was ist so schwer daran? Warum dauert das so lange?

Update: Mittlerweile bin ich (Oli/Kami) auch zur iPhone-Gemeinde konvertiert und ich habe im T-Punkt einen Mitarbeiter auf die VoiP- und Instant Messaging Problematik angesprochen. Seine Antowrt dazu (sinngemäß):

Die Einschränkungen in den iPhone Tarifen zielen einzig und allein auf die reduzierung des Datenvolumens durch Bild- und/oder Tonübertragungen ab. Der textbasierte Kurznachrichtenaustausch ist in keinster Weise von dieser Einschränkung betroffen. Ich kann ihnen kurz mal Instant Messaging auf meinem iPhone zeigen!

Ja, der nette Verkäufer hatte ein iPhone und er hatte auf dem iPhone auch Instant Messenger. Auf die Frage hin, ob er damit nicht die AGBs seines Arbeitgebers breche meinte er nur, dass es hierbei auf die jeweilige Auslegung ankommt. Kurz zusammengefasst, zeigte er sich einsichtig und er verstand auch die Problematik, die weiter unten geschildert wird.

Auszug aus den AGB’s der Deutschen Telekom zur HSDPA-Nutzung mit dem iPhone:

Die Nutzung von VoIP und Instant Messaging ist nicht Gegenstand des Vertrages.

Die Telekom “verbietet” die Nutzung von “Instant Messaging” in ihren iPhone Verträgen, aber die Auslegung des obigen Satzes liegt – ja bei wem eigentlich?
Wenn von HSDPA die Rede ist, dann ist damit ein vollwertiger, drahtloser Zugang zum Web 2.0 gemeint. Naja, fast vollwertig, wie wir dem obigen Satz entnehmen können. Aber immerhin kann man auf dem Handy das *richtige* Internet anschauen – und nicht so eine abgespeckte Version wie WAP.
Aber bleiben wir zuerst einmal bei Instant Messaging (ab hier nurnoch IM). Grobe deutsche Übersetzung: “Sofort-Nachrichten”, also sowas wie SMS – mit dem wichtigen Unterschied, dass die Telekom für IMs kein Geld verlangen kann – meint man.
Die Motivation ist hier klar zu erkennen: die Telekom fürchtet, dass die Nutzung von SMS durch IMs einbricht. Seltsam ist nur, dass in den meisten Verträgen schon 40, 100, 200, 500 oder sogar 1000 frei-SMS inklusive sind – ob man diese nutzt oder nicht spielt keine Rolle. Sie sind im Vertrag drin und man zahlt mit seiner monatlichen Gebühr dafür.
Aber jetzt kommen wir mal zum richtig haarigen Teil: Was ist Instant Messaging überhaupt? Kann man im sozialen Meta-Raum des Web 2.0 überhaupt eine klare und eindeutige Definition dafür finden?

Die nachfolgenden Überlegungen stammen nicht aus den AGBs der Telekom oder irgendeiner Definition, das sind jetzt einfach nur Überlegungen der Autoren.

Fangen wir mal bei der Nachricht an. Sagen wir mal, das ist ein Stück Text, was von einem Absender über das Internet zu einem Empfänger übertragen wird. Und “instant” ist eine Nachricht, wenn sie möglichst zeitnah an ihre Absendung beim Empfänger ankommt. Gut soweit – diese Definition klingt ja soweit gut und richtig, oder?
Dann ist Twitter aber auch Instant Messaging (siehe Direct Messages), StudiVZ auch (Direktnachrichten), Facebook, MySpace, last.fm und damit auch so ziemlich jedes andere Social Network, das was auf sich hält.
Machen wir weiter mit dem anderen Teil des obigen Satzes, diesem komischen “VoIP” – oder auch “Voice over IP”. Zu deutsch: “Stimme über Internet Protokoll”. Kurz gesagt: Telefonieren über die Datenverbindung. Und hier sieht es ähnlich aus wie beim Instant Messaging. Die Telekom versucht, ihren Profit mit einem Verbot zu sichern.
Aber jetzt kommt der beste Teil dieser “Abmachung”: die Telekom kann die Nutzung der HSDPA Verbindung garnicht überprüfen – ohne das Fernmeldegeheimnis zu verletzen! Also ist alles eine Frage des Vertrauens. Das willkürliche Verbot von VoIP und IM ist von seiten der Telekom nicht kontrollierbar.
Viele skurrile Fragen schwirren jetzt im Raum herum: “Kann die Telekom einen Vertrag aufgrund der Nutzung von IMs und VoIP kündigen?”, “Wäre das nicht kontraproduktiv, weil sie ja am Kunden Geld verdienen, auch wenn dieser seine frei-SMS und frei-Minuten nicht nutzt?”, “Wäre der Kunde dann in der Position, die Telekom zu verklagen, weil sie seinen HSDPA-Verkehr überwacht haben?”, “Ist Twitter für die Telekom ein IM?”. Fragen über Fragen und keine Antworten.

Nachdem wir jetzt wissen was die Telekom verbietet schauen wir uns einmal an, was sie dann erlaubt.
Man kann sich zum vorhandenen iPhone Tarif ein Zusatzpaket für 10 € pro Monat kaufen, um Skype benutzen zu dürfen – ein Dienst, der an und für sich kostenlos ist, wird hier zum Gegenstand einer kostenpflichtigen Zusatzoption. in den AGB’s von Skype steht folgendes:

4.2 Kein Weiterverkauf. Sie erklären sich damit einverstanden, die Produkte nicht an eine Drittpartei weiterzuverkaufen.

16.Zusätzliche Bestimmungen für die Nutzung von Skype für Ihr Mobiltelefon
16.1 Skype für Ihr Mobiltelefon. Skype für Ihr Mobiltelefon bezieht sich auf die Nutzungsmöglichkeit verschiedener Skype-Produkte wie SkypeOut, Internet Messaging (d. h. Chats) und das Tätigen und/oder Empfangen von Skype-zu-Skype-Anrufen über die Skype-Softwareanwendung für mobile Endgeräte. Auf der Seite für mobile Endgeräte finden Sie die Ihnen zur Verfügung stehenden Funktionen. Skype behält sich das Recht vor, jederzeit Funktionen zu Skype für Ihr Mobiltelefon hinzuzufügen bzw. davon zu streichen. Damit Sie Skype für Ihr Mobiltelefon aktivieren und nutzen können, brauchen Sie Zugang zu einem mobilen Datennetzwerk. Darüber hinaus müssen Sie die mobile Version der Skype-Software auf Ihr mobiles Endgerät herunterladen und installieren sowie den Endnutzer-Lizenzvertrag und die Datenschutzrichtlinien akzeptieren.

In diesem Zusammenhang, kommt man um das Stichwort ‘Netzneutralität’ kaum herum. Netzneutralität bedeutet, dass Daten unabhängig von ihrem Inhalt gleich behandelt werden, was ihre Übertragung oder Bereitstellung angeht.
Eigentlich sollte es dem Dienstleister egal sein, wie und wofür sein Dienst benutzt wird. Im Endeffekt sind alles nur Daten, 1en und 0en, die durch die Luft fliegen und in einem bestimmten Kontext eben Sinn ergeben, seien es Telefonate, Nachrichten, Bilder, Video- oder Tonaufzeichungen. Im Zusammenhang mit Telekommunikationsanbietern besteht eben die prekäre Situation, dass die Möglichkeiten des Internets die profit-fördernden Dienste der Anbieter untergraben. Im Falle der Telekom sehen wir in den Vertragsbedingungen das Greifen nach dem letzten Strohhalm: willkürliche Verbote. Undurchsetzbar und schwammig formuliert, in der Hoffnung, dass niemand nachfragt oder genauer hinschaut.
Es wird wirklich höchste Eisenbahn, dass von staatlicher Seite die Netzneutralität durchgesetzt wird und somit der Willkür der Telekommikations-Unternehmen einhalt geboten wird.

Zitat (Minute 4:40):

Dann war da der Chaos Computerclub und die Piratenpartei, die plötzlich schrie’n: “Das ist Zensur”. Meine Damen und Herrn, Kinderpornografie im Internet anzuschau’n ist Kindesmissbrauch und ich rufe all denjenigen zu, die in diesem Zusammenhang von ‘Zensur im Internet’ sprechen: das Internet IST kein rechtsfreier Raum! Und das Recht gilt online genauso wie offline. Was wir niemals in einer Zeitung [kontrollieren?!] wollen [unverständliches gestammel im Klatschrausch].

Wenn KiP0 in einer Zeitung verhindert wird, indem man die Zeitung/Verleger entfernt, wieso um Herrgott’s Willen schnallt die Tante dann VERDAMMT nochmal nich endlich selbst, dass man ebenso die entsprechende Webseite vom Server zu entfernen hat!

Und NICHT den Weg dorthin, oder stellen wir im “offline” Leben nun lieber Straßen-Sperren auf, damit wir nicht zum bösen Kiosk durchkommen und lassen die Zeitung aber drin liegen?!

Über den längst fade gewordenen Spruch zum “rechtsfreien Raum” sag ich nun nichtmal mehr was, wer so offen weiterlügt, nach diesen tausend Versuchen so jemandem zu zeigen was für ein Mumpitz DAS ist, dem ist eh nichtmehr zu helfen…

Olis Beitrag: An dieser Stelle sehen wir, dass genau das passiert, was die Kritiker schon vor Monaten angekündigt haben: wer nicht für Zensursula ist, ist offenbar für die freie Verbreitung von Kinderpornographie im Internet. Diese Fehlschluss zeigt, dass Frau von der Leyen ihre Kritiker nicht verstanden hat – nicht verstehen will oder sich noch nicht einmal damit beschäftigt hat. Denn dann wüßte Sie, dass sowohl der CCC als auch die Piratenpartei nicht behauptet haben, dass die Sperrung von Kinderpornographie Zensur ist, sondern dass die Infrastruktur, die zur Errichtung dieser Sperre notwendig ist, auch zur Sperrung von anderen Inhalten benutzt werden kann. Dann haben wir eine Zensur.

Damit zeigt sich einmal mehr, dass die Parteien, die den Piraten und dem CCC “Diskussionsresistenz” vorwerfen, selbst genau das sind: Diskussionsresistent.

An dieser Stelle bleibt dann nur noch eines zu sagen: Klarmachen zum Ändern!