HttpWebRequest ve 403(Forbiden) – 406(Not Acceptable) Hataları
HttpWebRequest nesnesiyle sayfaların html kaynaklarını çekmek bazı sayfalarda sorun yaşatabiliyor. Mesela wikipedia‘nın kaynağını çekerken yaşadığım Accept özelliği hatası gibi. Eğer bir değer atamazsak bazı sayfalar hataya düşüyor. Fakat içine “serdar :)” bile yazsak sayfa geliyor.
css gibi özel tipleri çekerken de sorun yaşamamak için “text/*” gibi genel bir Accept tanımlması yapılmalı…
Uri uri = new Uri("http://en.wikipedia.org/wiki/Special:Export/Train"); HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create(uri); httpWebRequest.Credentials = System.Net.CredentialCache.DefaultCredentials; //text/* yerine text/html yazarsak css çekerken 406 hatası alırız //The remote server returned an error: (406) Not Acceptable. //accept kullanmadığımız durumlarda bazı sayfalar 403 hatası verebilir. //The remote server returned an error: (403) Forbidden. httpWebRequest.Accept = "text/*"; WebResponse webResponse = httpWebRequest.GetResponse(); Stream stream = webResponse.GetResponseStream(); StreamReader streamReader = new StreamReader(stream); string html = streamReader.ReadToEnd(); streamReader.Close(); stream.Close(); webResponse.Close(); Console.Write(html); Console.Read();
Category: Csharp - C# - 4 comments »





January 30th, 2009 at 7:48 am
Çok başarılı tebrikler.
Bununla beraber UserAgent özelliğinden de bahsedebiliriz. Kimi siteler UserAgent özelliği set olmamış isteklere yanıt vermiyor.
WebResponse webResponse = httpWebRequest.GetResponse();
satırından evvel;
httpWebRequest.UserAgent = “Deneme Istemcisi”;
yazılabilir.
“text/*” açıklamasından çok faydalandım, teşekkürler.
January 30th, 2009 at 7:54 am
html parse ederken kullanılabilecek altın değerinde bir bilgi
teşekkürler serdar
June 16th, 2010 at 6:00 am
Merhabalar. Güzel bir yazı teşekkürler. Veriyi çektikten sonra braketler içindeki wikipedia tag’lerini nasıl iptal edebiliriz ya da o tagları anlaşılabilir bir form’a sokup ekrana getirmek için ne yapmak gerekli?
İyi çalışmalar.
July 3rd, 2010 at 12:31 am
yorumu geç gördüm pardon.
zannımca wikipedia taglarını temizlemek gibi özel bi hokus pokus yok…